Berlin Apache Airflow Meetup at idealo!

Im idealo HQ dreht sich alles um die Orchestrierung von Daten. Das Meetup beleuchtet den Weg von der Konsolidierung fragmentierter Instanzen hin zu einer zentralisierten Plattform. Es geht um den praktischen Einsatz von Airflow für geschäftskritische Pipelines und die Skalierung der Infrastruktur. Ein weiterer Schwerpunkt liegt auf der Produktion von KI-Workloads. Dabei stehen Themen wie LLM-Calls, Multi-Turn-Agenten und die Integration von RAG-Systemen im Fokus. Die Vorträge zeigen, wie sich diese Prozesse stabil und kontrolliert in bestehende Workflows einbetten lassen. Zwischen den technischen Sessions bleibt Zeit für den Austausch mit anderen Entwicklern und Daten-Experten. Das Format richtet sich an ein Fachpublikum, das sich mit Softwareentwicklung und Datenanalyse beschäftigt. Getränke und Snacks begleiten den Abend.

Join fellow Airflow enthusiasts and leaders at idealo's offices for an evening of engaging presentations, delicious food and drinks, and awesome swag! The evening will consist of Airflow-specific presentations followed by networking. We can’t wait to see you there! PRESENTATIONS Talk 1: Scaling Airflow at idealo: From MWAA to Astronomer and Beyond Speakers: David Hellwig, VP Data, idealo & Shaleena Ann Thomas, idealo Over three years, idealo consolidated fragmented Airflow instances, Glue PySpark jobs, and other data lake workloads into a centralized platform, standardizing on PySpark. Migrating KPI-critical pipelines from MWAA to Astronomer in 2025 brought zero infrastructure incidents since May. This talk covers that journey: consolidating infrastructure, enabling self-service via automated deployments, reusable operators, blueprint DAGs, and observability, and how centralized ops and developer autonomy go hand in hand. Talk 2: Apache Airflow for Production-ready AI Speaker: Sadok Ben Yahya, Senior Engineer at Astronomer Running AI workloads in production takes more than a model call. This talk shows how Apache Airflow's Common AI provider brings production-ready AI orchestration into your DAGs: single-turn LLM calls, multi-turn agents with tools, and building blocks for RAG, SQL generation, and file analysis. You'll also see how to productionize it all with durable execution, usage limits, and human-in-the-loop review. AGENDA * 18:00–18:30: Check-in / Networking / Snacks * 18:30–18:50: Talk 1 — Scaling Airflow at idealo (David Hellwig & Shaleena Ann Thomas) * 18:50–19:20: Talk 2 — Apache Airflow for Production-ready AI (Sadok Ben Yahya, Astronomer) * 19:20–19:30: Coffee Break * 19:30–20:00: Talk 3 — TBD * 20:00–20:30: Closing / Networking