Microsoft Fabric -mistä on kyse?
Microsoft julkaisi Build 2023 tapahtumassa toukokuun lopussa uuden data- ja analytiikka-alustan, Microsoft Fabricin, joka yhdistää keskeisimmät Microsoftin data- ja analytiikkakomponentit yhteen pilvipalveluun. Fabricin tavoitteena on yksinkertaistaa, mutta myös demokratisoida tapaa, jolla organisaatiot hyödyntävät ja jakavat dataansa.
OneLake kaiken perustana
Fabricin arkkitehtuuri rakentuu OneLaken päälle, joka on organisaationlaajuinen, keskitetty datan tallennustila. OneLakea voidaan laajentaa yhdistämällä siihen erillisiä Azuren tai Amazonin datan tallennustiloja. Myös Google Cloud -integraatiomahdollisuus on tulossa myöhemmin. OneLakeen liitetyt dataresurssit ovat käytettävissä niiden käyttöoikeusmäärittelyjen rajoissa ja OneLaken merkittävin ominaisuus onkin se, että sen avulla käyttäjän ei tarvitse tietää organisaation omistamien datalähteiden sijaintia, vaan ne kaikki ovat saatavilla yhdestä paikasta.
Kuvan lähde: https://azure.microsoft.com/en-us/blog/introducing-microsoft-fabric-data-analytics-for-the-era-of-ai/
Fabric käytännössä
Fabric on siis käytännössä sateenvarjo, jossa yhden käyttöliittymän kautta voidaan käyttää useita palveluita. Tällä hetkellä Fabric sisältää seuraavat komponentit ja työkuormat:
- Datan tallennukseen jo yllä mainittu OneLake
- Integraatiot ja orkestrointi tapahtuu Data Factoryn avulla
- Synapsesta tutut komponentit:
- Data Engineering
- Data Warehousing
- Real-Time Analytics
- Data Science
- Analytiikka tapahtuu Power BI:llä
- Governance ja lineage hoidetaan Purview’n avulla
- Tapahtumaperusteiset toiminnot ja hälytykset Data Activatorin kautta
Fabricin sisältämät työkuormat jakavat saman laskentakapasiteetin, joka on tarpeen mukaan skaalattavissa. Laskentakapasiteetti on siten aina saatavissa, kun sitä tarvitaan. Ei siis enää ennalta varattua kapasiteettia ja sen ohjelmallista tai manuaalista sammuttelua kustannusten säästämiseksi.
OneLake mahdollistaa myös eri työkuormien välisen datan jakamisen ilman kopiointia tai siirtämistä paikasta toiseen: Lakehouse-kannassa olevaa dataa voidaan hyödyntää Warehouse-kannassa ja toisinpäin, mutta se on suoraan luettavissa myös Power BI -datasettiin. Huolimatta siitä, käytetäänkö Lakehouse vai Warehouse -arkkitehtuuria, data tallennetaan OneLakeen aina avoimessa Delta/Parquet muodossa. Fabricissa muodostuu automaattisesti jokaiselle Lakehouselle SQL-rajapinta, mitä kautta dataa voidaan kysellä suoraan käyttäen T-SQL komentoja.
Suora yhteys tiedostoihin -Direct Lake
Fabricin myötä myös Power BI sai tehokkaan ominaisuuden lukea OneLaken Deltatauluja suoraan, mahdollistaen lähes reaaliaikaisen ja erittäin suurten datamassojen analysoinnin. Direct Lake toimii kuten DirectQuery, mutta se on optimoitu OneLaken Deltataulujen lukemiseen. Direct Lake yhdistää DirectQueryn ja Import moden parhaat puolet; data on saatavissa välittömästi, kun se on tallennettu OneLakeen, suorituskyvyn säilyessä parhaalla mahdollisella tavalla.
Kuvan lähde: https://learn.microsoft.com/en-us/power-bi/enterprise/directlake-overview
Yksinkertainen käyttöoikeushallinta
Fabricin käyttäjänhallinta on tuttu Power BI:n käyttäjänhallinnasta, käyttäjien oikeudet määritellään jokaiselle työtilalle erikseen ja myös työtilan sisällä voidaan rajoittaa käyttäjien oikeuksia Power BI objekteihin, SQL-rajapintoihin ja Warehouse-kannan sisällä oleviin objekteihin. Nykyinen Power BI:n tietuetason tietoturva toimii kuten ennenkin, Fabric ei muuta sen toimintatapaa.
Työtilassa käyttäjille voidaan asettaa oikeuksia seuraavien roolien kautta:
- Admin, työtilan sisällä oikeus kaikkeen
- Member, työtilan sisällä oikeus kaikkeen muuhun, paitsi työtilan poistoon ja tiettyjen käyttäjäroolien muokkaukseen
- Contributor, työtilan sisällä oikeus laajaan sisällöntuottamiseen
- Viewer, työtilan sisällä oikeus käyttää objekteja
Tarkemmat roolikuvaukset löytyvät Microsoftin sivuilta.
Fabric kapasiteetti
Tällä hetkellä Fabric kapasiteettia voi hankkia kahdella eri tavalla:
- Azure, laskutus käytön mukaan. Ei sitoutumista
- Microsoft 365, laskutus kuukausittain tai vuositasolla
Azuren hinnoittelussa on sijaintikohtaisia eroja ja tällä hetkellä Fabric kapasiteetin hinnoittelu North Europessa näyttää tältä:
Ja West Europessa tältä:
Hinnat voivat kuitenkin muuttua, mutta tärkeintä tässä on ymmärtää se, että vaikka kapasiteetin sijainnilla voi vaikuttaa suoraan sen hintaan, voi eri sijaintien väliset datansiirtokulut nousta merkittävästi, jos organisaatiolla on useita tallennustiloja, dataa on paljon ja käyttö aktiivista. OneLaken tallennustila aiheuttaa kustannuksia tallennetun datan määrän mukaan, mutta myös mahdollisten maantieteellisten sijaintien välisestä datansiirrosta aiheutuvat kulut lisätään OneLaken kustannuksiin. Tällä hetkellä kustannusten ennustamiseen ei ole tarjolla laskuria, vaan kapasiteetin koon arviointi tapahtuu käytännössä kokeilemalla eri vaihtoehtoja omien työkuormien avulla.
Microsoft Fabric – mitä jäi käteen?
Ottaen huomioon sen potentiaalin, jota Fabricissa on ja markkinoiden asettamat vaatimukset, uskon, että Fabric tulee vaikuttamaan laajasti organisaatioiden datastrategiaan tarjoamalla kokonaisvaltaisen Data- ja analytiikkaratkaisun SaaS-palveluna.
Fabricin laajennettavuus sisältämään olemassa olevat pilvipohjaiset datan tallennusratkaisut kaikissa johtavissa pilvialustaratkaisuissa (Azure, Amazon, Google Cloud), poistaa datan siiloutumisen sekä tuo organisaation datan kaikkien saataville, käyttäjän roolista riippumatta. Laajennettavuus mahdollistaa myös tietolähteiden hajauttamisen ilman monimutkaisia ja dataa kopioivia integraatioita, joten kaikkia munia ei tarvitse pitää samassa korissa.
Organisaatioiden analytiikan self-service-kyvykkyydet paranevat, kun data on käytettävissä keskitetystä tietolähteestä ja avoimella formaatilla. Myös nykyiset Data-alustaratkaisut Azuren erillisillä palveluilla voidaan siirtää Microsoft Fabricin työkuormiksi, joka mahdollistaa yksinkertaisemman palvelunhallinnan ja yhdenmukaisen kulurakenteen.
Kiinnostuitko aiheesta? Ota yhteyttä, niin jutellaan lisää!
Tommi Vallinmäki
Senior Data Engineer & Architect
tommi.vallinmaki@dbproservices.fi
DB Pro Services Oy
Robin Aro
Lead Data Engineer
robin.aro@dbproservices.fi
DB Pro Services Oy
