Zoals de meeste mensen dacht ik dat Apache Airflow en Astronomer verwarrend waren. Maar na praktijkervaring te hebben opgedaan, ben ik echt gaan waarderen waarom Airflow zo veel gebruikt wordt. Het blijkt dat het bouwen van DAG's (Directed Acyclic Graphs) intuïtief is als je het eenmaal onder de knie hebt. En ik beloof je dat je na het lezen van deze blog veel meer zult begrijpen waarom Astro CLI de eenvoudigste manier is.
Het lokaal opzetten van Apache Airflow met Astro CLI, ervan uitgaande dat Docker en de CLI al geïnstalleerd zijn, duurt ongeveer 5-10 minuten als alles soepel verloopt. Om te benadrukken dat dit alleen het installatieproces is, het kan langer duren voordat je de UI begrijpt en weet hoe je je DAG's moet definiëren. In deze blog vertel ik hoe ik Airflow lokaal heb opgezet met Astronomer en leg ik uit waarom de Astro CLI de snelste en eenvoudigste manier is om te beginnen.
De Astro CLI is een open-source opdrachtregeltool die het werken met Apache Airflow vereenvoudigt, vooral voor lokale ontwikkeling. Hoewel je Airflow handmatig kunt installeren en uitvoeren (bijvoorbeeld via PyPI of Docker), biedt Astro CLI een gestroomlijnde ervaring met belangrijke verbeteringen:
De "Secret Sauce" van Astro CLI:
Er zijn drie manieren om Airflow op je lokale machine te installeren:
1. Met behulp van de Python Package Index (PyPI)
Deze methode is geweldig voor iedereen die vertrouwd is met Python-omgevingen of alleen lokaal toegang heeft tot Python.
2. Containerization-oplossingen gebruiken (bijv. Docker, Podman)
Dit is ideaal voor gebruikers die al bekend zijn met containers.
3. Astro CLI gebruiken (aanbevolen)
Astro CLI vereenvoudigt het hele proces door de setup te automatiseren via containerisatie. Het vereist minimale handmatige configuratie en is de snelste, meest beginnersvriendelijke manier om een lokale Airflow-omgeving op te starten. Over het algemeen ideaal voor ontwikkeling en experimenteren.
| Methode | Voordelen | Nadelen |
|---|---|---|
| PyPI (alleen Python) | Vertrouwd voor Python-gebruikers | Handmatige installatie, beheer van afhankelijkheden, minder schaalbaar |
| Docker/Podman | Schone omgeving, betere isolatie | Kennis van containers vereist, meer configuratie nodig |
| Astro CLI (aanbevolen) | Snelle installatie, beginnersvriendelijk, voorgeconfigureerde structuur | Docker/Podman vereist, lichte leercurve voor CLI-gebruik |
Vereisten:
Installatie (via winget):
Astro CLI ondersteunt ook Windows (via handmatige installatie), mac en Linux (via curl).
Voor volledige installatie-instructies voor alle besturingssystemen, bekijk de officiële Astro-documenten hier: Astro CLI Installatiegids
Zodra Astro CLI is geïnstalleerd, maakt u een nieuwe map voor uw project en voert u uit: astro dev init
Deze opdracht genereert een standaard Astro projectstructuur met alle benodigde mappen en bestanden. En als je een code editor naar keuze opent in die map (ik gebruik vscode), zie je aan de linkerkant al die bestanden en mappen die voor je zijn gegenereerd.
En zo heb je een volledig functionele lokale omgeving om Airflow te draaien.
Aan de slag gaan met Apache Airflow kan in het begin intimiderend lijken, maar tools zoals de Astro CLI maken het proces veel toegankelijker, vooral voor beginners of mensen die snel een prototype willen maken. Met slechts een paar commando's kun je in een mum van tijd beginnen met het bouwen en testen van DAG's.
Nu je lokale Airflow setup draait, is het enige wat je nog moet plannen... je koffiepauze. Veel orchestrationplezier!