Ovládanie Apache Iceberg pre škálovateľné spravovanie dátových jazier

Úvod

Keď objemy dát naďalej exponenciálne rastú, organizácie sa presúvajú k otvorenejším, flexibilnejším a škálovateľnejším architektúram dátových jazier. Ale čo presne je architektúra dátového jazera?

Architektúra dátového jazera je systém na ukladanie obrovského množstva surových údajov v ich pôvodnom formáte - štruktúrovanom, polostruktúrovanom alebo neštruktúrovanom - až do okamihu, kedy sú potrebné na analýzu. Na rozdiel od tradičných databáz, dátové jazerá dokážu spracovať všetko od prúdových dát v reálnom čase až po dávkové súbory, čo ich robí ideálnymi pre veľké dáta a pracovné toky strojového učenia. Avšak tradičné riešenia dátových jazier často prichádzajú s vlastnou sadou výziev - ako je pomalý výkon, ťažkosti s riadením zmien schémy a úzke prepojenie na konkrétne spracovateľské motory. Tu prichádza na scénu Apache Iceberg.

Apache Iceberg je moderný, open-source formát tabuliek navrhnutý na prekonanie mnohých bežných problémov spojených s tradičnými dátovými jazierkami. S jeho robustným spracovaním metadát, vstavanou podporou pre evolúciu schémy a kompatibilitou s viacerými spracovateľskými enginmi ako Apache Spark a Flink, Iceberg mení spôsob, akým tímy spravujú a analyzujú veľké dáta. V tejto príručke sa bližšie pozrieme na to, čo Apache Iceberg je, preskúmame jeho kľúčové funkcie a architektúru a zdieľame praktické tipy na jeho implementáciu vo vašom prostredí. Taktiež odpovieme na bežné otázky o spracovaní evolúcie schémy a integrácii Iceberg s enginmi ako Apache Spark - aby ste mohli hladko začať a fungovať.

Predpoklady

• Znalosť Apache Spark a Hive alebo podobných platforiem distribuovaného spracovania.
• Porozumenie architektúre dátového jazera. To zahŕňa znalosti o formátoch súborov (ako Parquet a ORC), úložných systémoch (napr. HDFS a S3) a stratégiách rozdelenia.
• Schopnosť písať SQL dopyty a vytvárať tabuľky pri vykonávaní operácií ako INSERT, UPDATE a ALTER.
• Uistite sa, že Apache Spark 3.x je nainštalovaný a funkčný spolu s vhodným balíkom Iceberg runtime pre vašu verziu Spark.
• Nakonfigurujte Hive Metastore, systém AWS Glue alebo kompatibilný katalóg na správu metadát tabuliek Iceberg.

Čo je Apache Iceberg?

Apache Iceberg je open source formát tabuliek vytvorený na správu veľkých analytických súborov dát. Vyvinula ho Nadácia Apache na riešenie výziev uloženia dát a dotazovania na obrovské objemy dát v dátových jazerách. Tím za Icebergom mal za cieľ vytvoriť spoľahlivejší, konzistentnejší a efektívnejší spôsob správy metadát tabuliek, sledovania umiestnenia súborov a správy zmien schémy. To je obzvlášť dôležité, keď čoraz viac organizácií využíva cloudové dátové jazerá na správu obrovských súborov dát.

Kľúčové vlastnosti Apache Iceberg

Základné vlastnosti Apache Iceberg zdôrazňujú, prečo je považovaný za preferovaný štandard na správu veľkých dát.

Vývoj schémy Iceberg podporuje vývoj schémy tabuliek tým, že umožňuje pridávanie, odstraňovanie, premenovanie alebo preusporiadanie stĺpcov bez toho, aby sa zmenili existujúce dátové súbory. To dosahuje priradením jedinečného ID každému stĺpcu a sledovaním zmien schémy v metadata.

Rozdeľovanie a vývoj rozdelení Tabuľky Iceberg podporujú rozdeľovanie prostredníctvom jedného alebo viacerých kľúčov (ako je dátum, kategória atď.) na zlepšenie výkonu dotazov. Iceberg ponúka exkluzívnu podporu pre skryté rozdeľovanie a vývoj rozdelení. Skryté rozdeľovanie umožňuje tabuľkám sledovať hodnoty rozdelení interne. To umožňuje dotazovacím motorom vykonávať automatické prerezávanie rozdelení bez zásahu používateľa na pridanie filtrov rozdelení.

Formátovo-agnostický Iceberg pracuje s rôznymi formátmi súborov, aj keď je bežne spájaný s Parquet, aby podporil rôzne stratégie vkladania dát.

ACID Transakcie Iceberg zabezpečuje transakčnú bezpečnosť počas operácií v dátovom jazere, čím poskytuje ACID vlastnosti bežne nájdené v dátových skladoch a pokročilých transakčných systémoch.

Cestovanie v čase a verzionovanie dát Každý snapshot ľadovca sa uchováva, kým sa rozhodnete ho zrušiť. Dotazy o cestovaní v čase umožňujú prístup k údajom v tabuľke z ľubovoľného predchádzajúceho snapshotu alebo časového údaja. Napríklad môžete spustiť príkaz,

*SELECT * FROM my_table*
*FOR TIMESTAMP AS OF '2025-01-01 00:00:00*'

aby ste mohli zobraziť svoje údaje od začiatku roka 2025.

Optimalizácie výkonu
Iceberg je navrhnutý pre výkon s veľkými údajmi. Metadata strom, ktorý obsahuje manifesty, umožňuje Icebergu vyhnúť sa úplným skenom tabuliek tým, že odstraňuje nepotrebné súbory a partie pre konkrétny dotaz.

Architektúra Apache Iceberg: Ako to funguje?

Na vysokej úrovni sa architektúra Apache Iceberg skladá z niekoľkých kľúčových komponentov:

Metadata vrstva: Táto vrstva pozostáva z viacerých súborov, ktoré uchovávajú komplexné informácie o štruktúre a stave tabuľky:

• Metadatový súbor (metadata.json): Tento súbor sleduje aktuálnu schému, špecifikácie rozdelenia, snímky a odkazy na zoznam manifestov pre najnovšiu snímku.
• Manifest List: Ukazuje na relevantné manifestné súbory, pričom poskytuje spoľahlivý prehľad tabuliek v akomkoľvek čase.
• Manifest súbory: Zoznamy dátových súborov s štatistickými informáciami, ako sú počty záznamov, minimálne/maximálne hodnoty stĺpcov a metadata pre každý súbor.

Úroveň údajov: Táto úroveň pozostáva z reálnych súborov údajov. Ukladá údaje pomocou stĺpcových formátov, ako sú Parquet, ORC a Avro.

Keď je vykonaná dopyt na tabuľke Iceberg, systém postupuje podľa týchto krokov:

• Retrieval metadát: Dopytovací engine získa aktuálny súbor metadata.json z katalógu.
• Identifikácia snímky: Pozera sa na najnovšiu snímku alebo konkrétnu, ak používame funkcie cestovania v čase.
• Odstránenie manifestu: Vyhľadávací systém prehľadáva zoznam manifestov, aby odstránil nerelevantné manifesty pomocou vyhľadávacích predpokladov.
• Prístup k údajom: Systém číta potrebné súbory s údajmi, ktoré sú uvedené v príslušných súboroch manifestu, a aplikuje filtre na extrakciu požadovaných údajov.

Porovnanie: Apache Iceberg vs. Hudi vs. Delta Lake

Ľadovec sa často porovnáva s inými otvorenými formátmi tabuliek, ako sú Apache Hudi a Delta Lake. Všetky tri sa snažia priniesť ACID transakcie a spoľahlivosť do dátových jazier, ale líšia sa vo svojom prístupe a funkciách.

Kľúčové rozdiely zhrnutie:

• Iceberg: Zdôrazňuje nezávislosť od metadát, umožňuje robustný vývoj schémy a rozdelenia a ponúka impozantné orezávanie prostredníctvom štatistík. Je prispôsobiteľný pre rôzne enginy.
• Hudi: Ponúka zrelú podporu pre Merge-on-Read, čo ho robí ideálnym pre rýchle aktualizácie a upsery. Podporuje aj vstavané možnosti indexovania. Môže byť však trochu zložité ho nastaviť.
• Delta Lake: Má silnú integráciu so Spark (najmä pri používaní Databricks) a funguje na jednoduchom systéme transakčných protokolov. Open-source verzia nepodporuje niektoré pokročilé funkcie runtime Databricks, ako je evolúcia rozdelení a pokročilé Z-Ordering.

Výber medzi Iceberg, Hudi alebo Delta Lake by mal byť založený na konkrétnych prípadoch použitia, vašom aktuálnom technologickom prostredí a prioritných funkciách (napr. frekvencia aktualizácií vs. flexibilita schémy).

Implementácia Apache Iceberg

Ukážeme, ako používať Apache Iceberg so Spark (prostredníctvom Spark SQL) na vytváranie a spravovanie tabuliek Iceberg. Apache Iceberg umožňuje bezproblémovú integráciu so Spark prostredníctvom svojho rozhrania DataSource V2 API. To užívateľom umožňuje spúšťať štandardné príkazy Spark SQL na správu tabuliek Iceberg po vhodnej konfigurácii.

Požiadavky na Apache Iceberg

• Uistite sa, že máte Spark 3.x: Vaším prvým krokom by malo byť overiť, či je Spark 3.x nainštalovaný vo vašom počítači.
• Balík Iceberg Spark Runtime: Získajte súbor JAR konektora Iceberg, ktorý zodpovedá verziám Spark a Iceberg.
• Zahŕňajte JAR v Sparku: Zahrňte Iceberg konektor JAR vo svojom classpath pri spúšťaní Sparku (cez spark-shell alebo spark-sql). Ak chcete zahrnúť ďalšie balíčky alebo závislosti, môžete použiť možnosť --packages.

Použite tento príkaz na spustenie Spark-SQL s verziou Iceberg 1.2.1 a Sparkom 3.3.

spark-sql --packages 
org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.2.1

--balíky org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.2.1: Táto voľba označuje Maven koordináty pre balík Iceberg runtime, ktorý je kompatibilný so Spark 3.3 a Scalou 2.12, verzia 1.2.1. Tento balík nájdete v Maven Central Repository.

Krok 1: Konfigurujte Spark katalóg pre Iceberg

Ak chcete nakonfigurovať Spark na používanie Icebergovho katalógu, môžete ho nastaviť v spark-defaults.conf alebo prostredníctvom príkazových možností --conf. Tu je príklad:

spark-sql \
 --packages org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:1.2.1 \
 --conf spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog \
 --conf spark.sql.catalog.local.type=hadoop \
 --conf spark.sql.catalog.local.warehouse=/tmp/iceberg_warehouse \
 --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

• spark.sql.catalog.local: Toto vytvára Spark katalóg s názvom local, ktorý používa Icebergov SparkCatalog.
• spark.sql.catalog.local.type=hadoop: Toto nastavenie nariaďuje Icebergu, aby spravoval metadata v súborovom systéme kompatibilnom s Hadoopom.
• spark.sql.catalog.local.warehouse: Určuje adresár skladu (napr. /tmp/iceberg_warehouse).
• spark.sql.extensions: Toto povolí niektoré špecifické SQL rozšírenia pre Iceberg (napr. MERGE, DELETE).

Tabuľky vytvorené pod místnym katalógom budú uložené v adresári definovanom ako cesta k vášmu skladu. Poznámka: Najprv musíte nakonfigurovať katalóg; inak môže Spark jednoducho vytvoriť tabuľku Hive predvolene.

Krok 2: Vytvorte tabuľku Iceberg a vložte dáta

Poďme pokračovať vytvorením vzorovej tabuľky Iceberg a vložením niektorých záznamov:

CREATE TABLE local.learning.employee (
    id INT,
    name STRING,
    age INT
)
USING iceberg;
-- Insert records into the table
INSERT INTO local.learning.employee VALUES
    (1, 'Adrien', 29),
    (2, 'Patrick', 35),
    (3, 'Paul', 41);

Prostredníctvom vyššie uvedených príkazov sme vytvorili tabuľku zamestnancov v učení mennom priestore nášho miestneho katalógu. Klauzula USING iceberg hovorí Sparku, aby použil zdroj dát Iceberg, čo je nevyhnutné na správne spravovanie tabuľky. Všetky údaje a metadata pre túto tabuľku budú uložené v špecifikovanom adresári skladu ako adresár Iceberg.

Krok 3: Vykonajte aktualizácie a evolúciu schémy

Predpokladajme, že chceme aktualizovať jeden z našich záznamov zamestnancov (zmeniť Patrikovo meno) a zároveň pridať nový stĺpec na sledovanie e-mailových adries. To môžeme dosiahnuť pomocou príkazov SQL UPDATE a ALTER TABLE v Icebergu:

-- Update Patrick's name to Flobert
UPDATE local.learning.employee
SET name = 'Flobert'
WHERE id = 2;
-- Alter the table to add a new email column
ALTER TABLE local.learning.employee
ADD COLUMNS (email STRING);
-- Insert a new record that includes the new email field
INSERT INTO local.learning.employee VALUES
    (4, 'David', 30, 'david@company.com')

V pozadí:

• AKTUALIZÁCIA operácia: Vytvára nový súbor dát pre rozdelenie s Patrickovým aktualizovaným menom. Takisto označila starú sekciu súboru ako odstránenú v metadátach.
• Operácia ALTER TABLE: ALTER TABLE ADD COLUMNS aktualizoval schému tabuľky v metadátach a pridelil nový ID pre stĺpec e-mail bez toho, aby zmenil existujúce súbory.
• Vloženie operácie: Táto operácia vloží Davidov záznam, ktorý obsahuje nové pole email.

Tento prístup nám umožňuje efektívne zvládať zmeny schémy a minimalizuje potrebu nákladných prepísaní tabuliek.

Správa veľkého množstva metadát v Apache Iceberg

Ľadovec preukazuje vynikajúci výkon prostredníctvom efektívneho spravovania metadát:

• Manifest súbory: Namiesto jedného obrovského súboru so všetkými údajmi, Iceberg rozdeľuje metaúdaje na menšie manifest súbory, pričom každý opisuje podmnožiny údajov.
• Paralelné operácie: Tento dizajn umožňuje dotazom preskočiť celé metadátové súbory a čítať iba relevantné časti alebo podmnožiny.
• Rezanie partisí: Iceberg sleduje min/max štatistiky na úrovni súboru, čo mu umožňuje odstrániť partie alebo súbory s dátami, ktoré nezodpovedajú podmienkam dopytu.

Táto stratégia sa stáva nevyhnutnou, keď pracujete v prostrediach, ktoré obsahujú milióny súborov s údajmi. Odstráni potrebu skenovania veľkých súborov metadát a vyhýba sa zložitým procesom prepisovania každýkrát, keď prídu nové údaje.

Apache Iceberg v multi-cloud prostrediach

Organizácie dnes fungujú na viacerých cloudových platformách pomocou služieb od AWS, Azure a Google Cloud. Apache Iceberg funguje nezávisle od systémov objektového ukladania. Umožní vám:

• Ukladajte údaje do objektových úložísk (ako S3, GCS a ADLS), ktoré poskytujú hlavné cloudové platformy.
• Spravujte metadata tabuliek prostredníctvom centralizovaných systémov Hive Metastore, AWS Glue katalógov alebo iných katalógov.
• Spustite Spark alebo Presto na akomkoľvek cloudovom prostredí podľa vášho výberu, aby ste mali prístup k tým istým Iceberg tabuľkám na čítanie a zápis operácií.

Táto flexibilita vám pomáha vyhnúť sa uzamknutiu k jednému poskytovateľovi, pričom môžete využiť silné stránky každej cloudovej služby - lepšie zľavy na výpočty, pokročilé AI služby alebo funkcie súladu na základe vašej oblasti.

Riešenie problémov s evolúciou schém

Robustná povaha komplexného vývoja schém prináša určité výzvy. Nasledujúca tabuľka predstavuje kľúčové úvahy o vývoji schémy Apache Iceberg.

Tímy by mali implementovať aktualizácie postupne, vykonávať komplexné testovanie vo všetkých spotrebiteľských motoroch a využívať históriu metadát Iceberg na sledovanie zmien.

Riešenie problémov s integráciou Apache Iceberg so Spark alebo Hive

Táto sekcia predstavuje typické problémy, ktorým čelíte pri integrácii Apache Iceberg so Spark alebo Hive. Môžete si ich preštudovať a v prípade potreby sa poradiť s oficiálnou dokumentáciou:

Časté kontroly integračných systémov a protokolov umožňujú včasné odhalenie konfliktov. To pomôže udržiavať plynulý chod operácií a minimalizovať prestoje.

Často kladené otázky

Čo je Apache Iceberg?

Apache Iceberg je open-source formát tabuliek navrhnutý na správu analytických dátových súborov vo veľkom meradle. Apache Iceberg je ako inteligentný organizátor pre veľké údaje uložené v dátových jazerách.

Keď uchovávate obrovské množstvá dát v súboroch (ako Parquet alebo ORC) v cloudovom úložisku alebo HDFS, môže to byť chaotické a ťažko spravovateľné - obzvlášť ak sa údaje neustále menia alebo rastú. Iceberg pomáha organizovať tieto dáta štruktúrovaným, efektívnym a spoľahlivým spôsobom, aby s nimi mohli nástroje ako Apache Spark, Flink a Trino pracovať rýchlejšie a presnejšie.

Premýšľajte o Iceberg ako o formáte tabuľky, akýsi spôsob, akým Excel organizuje dáta do riadkov a stĺpcov. Ale na rozdiel od tradičných formátov, Iceberg sleduje metadáta (dáta o dátach), ľahko podporuje zmiany schémy a umožňuje funkcie ako cestovanie časom (zobrazovanie predchádzajúcich verzií dát), inkrementálne čítania a ACID transakcie (na zaistenie konzistencie dát).

Ako zlepšuje Apache Iceberg výkon dátových jazier?

Iceberg zlepšuje výkon ukladaním metadát do kompaktnejších manifestov, ktoré umožňujú efektívne orezávanie partícií. Systém optimalizuje výkon obmedzením dotazov na relevantné manifesty a dátové súbory, čím minimalizuje režijné náklady na I/O. Snímky umožňujú konzistentný prístup k dátam počas čítania a zapisovania a zároveň zabraňujú problémom spojeným s konkurenciou.

Akým spôsobom Iceberg zvláda evolúciu schém?
Evolúcia schém je založená na verziách. Kedykoľvek upravíte schému, Iceberg vygeneruje nový snímok, ktorý odkazuje na aktualizovanú schému. Staršie snímky zostávajú nezmenené, takže dopyty voči predchádzajúcim údajom zostávajú platné bez toho, aby bolo potrebné prepisovať historické súbory.

Aký je rozdiel medzi Apache Iceberg, Delta Lake a Hudi?

• Iceberg zdôrazňuje správu metadát nezávislú na engine a optimalizáciu výkonu pre veľké objemy údajov.
• Delta Lake sa zameriava na ACID transakcie, úzko spolupracuje s Databricks a umožňuje dotazy s časovým cestovaním.
• Hudi je navrhnutý na spracovanie dát inkrementálne a podporuje analýzy takmer v reálnom čase so svojimi pokročilými možnostami upsert.

Môžem použiť Apache Iceberg s Apache Spark?

Určite! Apache Iceberg sa môže integrovať so Sparkom, čo uľahčuje čítanie, zápis a správu tabuliek Iceberg prostredníctvom Spark SQL alebo API DataFrame.

Aké sú kľúčové výhody používania Apache Iceberg v dátových jazerách?

Niektoré z hlavných výhod používania Apache Iceberg v dátových jazerách zahŕňajú podporu pre ACID transakcie, ľahké, ale výkonné spravovanie metadát, izoláciu snímok, plynulú evolúciu schémy a kompatibilitu naprieč rôznymi motorov.

Aké sú najbežnejšie prípady použitia pre Apache Iceberg?

Apache Iceberg môže zvládnuť rôzne úlohy správy údajov. To zahŕňa dávkovú analýzu, inkrementálne spracovanie údajov, odoberanie úloh správy dátových skladov, poskytovanie funkcií strojového učenia a správu údajov z internetu vecí.

Záver

Apache Iceberg sa stáva technológiou na prvom mieste pre organizácie, ktoré sa snažia čeliť výzvam spojeným s modernými dátovými jazerami. Jeho otvorený a škálovateľný dizajn, ktorý funguje s rôznymi enginmi, poskytuje dátovým tímom slobodu spravovať zmeny schémy, riešiť výkonové problémy a udržiavať konzistenciu.

Apache Iceberg vytvára základ pre vysokovýkonné dátové jazera v prostrediach s jedným a viacerými cloudmi. Používanie najlepších praktík a tipov na riešenie problémov z tejto príručky vám pomôže maximalizovať schopnosti Iceberg pre vaše analytické potreby.

Aby ste prehĺbili svoje porozumenie technológiam založeným na Apache a ako sa môžu integrovať do rôznych infraštruktúr, pozrite sa na nasledujúce články:

• Sprievodca inštaláciou webového servera Apache na Ubuntu 22.04

  • Apache vs Nginx: Čo potrebujete vedieť
  • Zabezpečenie Apache s Let’s Encrypt na Ubuntu
  • Riešenie bežných chýb Apache

Zatiaľ čo tieto zdroje sa primárne zameriavajú na server Apache HTTP, základné koncepty otvorenej spolupráce, správy konfigurácie a odstraňovania problémov so systémom sa môžu uplatniť pri vašej práci s Apache Iceberg.

Zdroje

• Apache Iceberg vs Delta Lake: Aké sú rozdiely?
• Apache Iceberg vs. Delta Lake vs. Apache Hudi
• Ľadové stoly: komplexný sprievodca funkciami, výhodami a najlepšími praktikami
• Apache Iceberg — Operácie CRUD
• Pochopenie súboru manifestu Apache Iceberg