La sortie officielle d’Apache Airflow 3 représente un tournant décisif dans l’univers de la gestion de flux de données. Pour Astronomer, entreprise américaine fondée en 2018 et comptant plus de 12M de téléchargements par mois, cet événement va bien au-delà d’une simple mise à jour logicielle. Il incarne l’aboutissement de plusieurs années de travail communautaire, d’écoute active des besoins du marché et d’innovation technologique — autant d’éléments qui renforcent sa position comme leader incontournable dans son domaine.
Apache Airflow est déjà considérée comme la meilleure plateforme de gestion de données au monde, plébiscitée notamment par le géant Walmart aux Etats-Unis ou SG en France.
La version 3.0 d’Apache Airflow introduit plusieurs fonctionnalités qui changent profondément la donne pour les équipes data. Parmi les plus marquantes : la gestion native du versionnage des DAGs (manière d'organiser et de planifier des tâches à exécuter dans un ordre précis), la prise en charge de langages multiples dans les tâches (au-delà de Python), la possibilité d’exécution distante sécurisée, et surtout, une refonte du modèle de sécurité intégrant une meilleure isolation des utilisateurs et une compatibilité accrue avec les standards IAM (règles et technologies utilisées pour contrôler qui peut accéder aux éléments d’un système informatique). Autant de nouveautés conçues pour répondre aux besoins des entreprises opérant dans des environnements complexes, distribués et soumis à des exigences de conformité rigoureuses.
