Data Pipelines With Apache Airflow: Orchestration for Data and Ai
De Ruiter, Julian/ Cabral, Ismael/ Geusebroek, Kris/ Van Der Ende, Daniel/ Harenslak, Bas
Langue : anglais
Edité par Manning Pubns Co, 2025
- Livre broché
- Neuf

Vendeur : Revaluation Books, Exeter, Royaume-UniRevaluation Books
Vendeur AbeBooks depuis 6 janvier 2003
Etat: Neuf
EUR 66,03
Quantité disponible : 2 disponible(s)
Ajouter au panierItem description from seller
2nd edition. 450 pages. 9.26x7.38x9.25 inches. In Stock.
N° de réf. du vendeur __1633436373
- Titre
- Data Pipelines With Apache Airflow: Orchestration for Data and Ai
- Auteur
- De Ruiter, Julian/ Cabral, Ismael/ Geusebroek, Kris/ Van Der Ende, Daniel/ Harenslak, Bas
- Éditeur
- Manning Pubns Co
- Année de publication
- 2025
- État de l'article
- Brand New
- Reliure
- Paperback
- Langue
- anglais
- ISBN à 10 chiffres
- 1633436373
- ISBN à 13 chiffres
- 9781633436374
- Édition
- 2ème Édition
- Poids de l'article
- 0,54 kilogramme
Data Pipelines with Apache Airflow has empowered thousands of data engineers to build more successful data platforms. This new second edition has been fully revised for Airflow 3 with coverage of all the latest features of Apache Airflow, including the Taskflow API, deferrable operators, and Large Language Model integration. Filled with real-world scenarios and examples, you'll be carefully guided from Airflow novice to expert.
Using real-world scenarios and examples, this book teaches you how to simplify and automate data pipelines, reduce operational overhead, and smoothly integrate all the technologies in your stack. Part reference and part tutorial, each technique is illustrated with engaging hands-on examples, from training machine learning models for generative AI to optimizing delivery routes.
In Data Pipelines with Apache Airflow, Second Edition you'll learn how to:
• Master the core concepts of Airflow architecture and workflow design
• Schedule data pipelines using the Dataset API and time tables, including complex irregular schedules
• Develop custom Airflow components for your specific needs
• Implement comprehensive testing strategies for your pipelines
• Apply industry best practices for building and maintaining Airflow workflows
• Deploy and operate Airflow in production environments
• Orchestrate workflows in container-native environments
• Build and deploy Machine Learning and Generative AI models using Airflow
About the Technology
Apache Airflow provides a unified platform for collecting, consolidating, cleaning, and analyzing data. With its easy-to-use UI, powerful scheduling and monitoring features, plug-and-play options, and flexible Python scripting, Airflow makes it easy to implement secure, consistent pipelines for any data or AI task.
About the book
Data Pipelines with Apache Airflow, Second Edition teaches you how to build, monitor, and maintain effective data workflows. This new edition adds comprehensive coverage of Airflow 3 features, such as event-driven scheduling, dynamic task mapping, DAG versioning, and Airflow’s entirely new UI. The numerous examples address common use cases like data ingestion and transformation and connecting to multiple data sources, along with AI-aware techniques such as building RAG systems.
What's inside
• Deploying data pipelines as Airflow DAGs
• Time and event-based scheduling strategies
• Integrating with databases, LLMs, and AI models
• Deploying Airflow using Kubernetes
About the reader
For data engineers, machine learning engineers, DevOps, and sysadmins with intermediate Python skills.
About the author
Julian de Ruiter, Ismael Cabral, Kris Geusebroek, Daniel van der Ende, and Bas Harenslak are seasoned data engineers and Airflow experts.
Table of Contents
Part 1
1 Meet Apache Airflow
2 Anatomy of an Airflow DAG
3 Time-based scheduling
4 Asset-aware scheduling
5 Templating tasks using the Airflow context
6 Defining dependencies between tasks
Part 2
7 Triggering workflows with external input
8 Communicating with external systems
9 Extending Airflow with custom operators and sensors
10 Testing
11 Running tasks in containers
Part 3
12 Best practices
13 Project: Finding the fastest way to get around NYC
14 Project: Keeping family traditions alive with Airflow and generative AI
Part 4
15 Operating Airflow in production
16 Securing Airflow
17 Airflow deployment options
A Running code samples
B Prometheus metric mapping
« Synopsis » peut appartenir à une autre édition de cet ouvrage.
À propos de l’auteur
Ismael Cabral is a Machine Learning Engineer and Airflow trainer with experience spanning across Europe, US, Mexico, and South America, where he has worked with market-leading companies. He has vast experience implementing data pipelines and deploying machine learning models in production.
Kris Geusebroek is a data-engineering consultant with extensive hands-on experience with Apache Airflow at several clients and is the maintainer of Whirl (the open source local testing with Airflow repository), where he is actively adding new examples based on new functionality and new technologies that integrate with Airflow.
Daniel van der Ende is a Data Engineer who first started using Apache Airflow back in 2016. Since then, he has worked in many different Airflow environments, both on-premises and in the cloud. He has actively contributed to the Airflow project itself, as well as related projects such as Astronomer-Cosmos.
Bas Harenslak is a Staff Architect at Astronomer, where he helps customers develop mission-critical data pipelines at large scale using Apache Airflow and the Astro platform. With a background in software engineering and computer science, he enjoys working on software and data as if they are challenging puzzles. He favours working on open source software, is a committer on the Apache Airflow project, and co-author of the first edition of Data Pipelines with Apache Airflow.
« A propos de ce titre » peut appartenir à une autre édition de cet ouvrage.
Revaluation Books
Exeter, Royaume-Uni
Vendeur AbeBooks depuis 6 janvier 2003
Frais d'expédition de Royaume-Uni vers Etats-Unis
| Article | 7 à 14 jours ouvrés | 2 à 3 jours ouvrés |
|---|---|---|
| Premier article | EUR 14,54 | EUR 29,09 |
Modes de paiement
Profil professionnel du vendeur
Edward Bowditch Ltd
Exstowe, Exton
Exeter, Royaume-Uni EX3 0PP
Conditions de vente
Legal entity name: Edward Bowditch Ltd
Legal entity form: Limited company
Business correspondence address: Exstowe, Exton, Exeter, EX3 0PP
Company registration number: 04916632
VAT registration: GB834241546
Authorised representative: Mr. E. Bowditch
Droit de rétractation
Si vous êtes un consommateur, vous pouvez exercer votre droit de rétractation sur le contrat conformément à ce qui suit. Le mot « consommateur » désigne toute personne physique agissant à des fins qui n'entrent pas dans le cadre de son activité commerciale, artisanale ou professionnelle.
Informations concernant le droit de rétractation
Droit statutaire de rétractation
Vous avez le droit d'exercer votre droit de rétractation sur ce contrat dans les 14 jours sans donner de raison.
Le délai de rétractation expirera au bout de 14 jours à compter du jour où vous-même, ou un tiers autre que le transporteur et désigné par vous, prendrez physiquement possession de la dernière marchandise, du dernier lot ou de la dernière pièce.
Pour exercer votre droit de rétractation, remplissez électroniquement et envoyez une déclaration claire sur notre site Web, sous « Vos achats » dans « Votre compte ». Nous vous communiquerons sans délai un accusé de réception de cette rétractation sur un support durable (par exemple, par e-mail).
Pour respecter le délai de rétractation, il vous suffit d'envoyer votre message concernant l'exercice de votre droit de rétractation avant l'expiration du délai de rétractation.
Effets de la rétractation
Si vous exercez votre droit de rétractation sur ce contrat, nous vous rembourserons tous les paiements que vous avez effectués, y compris les frais de livraison (à l'exception des frais supplémentaires résultant du choix d'un mode de livraison autre que le type de livraison standard le moins cher que nous proposons).
Nous pouvons déduire du remboursement la perte de valeur de toute marchandise livrée, si la perte est le résultat d'une manipulation inutile de votre part.
Nous effectuerons le remboursement dans les meilleurs délais, et au plus tard 14 jours après le jour où nous aurons été informés de votre décision d'exercer votre droit de rétractation sur ce contrat.
Nous effectuerons le remboursement en utilisant le même moyen de paiement que celui que vous avez utilisé pour la transaction initiale, sauf si vous en avez expressément convenu autrement ; en tout état de cause, aucuns frais ne vous seront facturés à la suite d'un tel remboursement.
Nous pouvons suspendre le remboursement jusqu'à ce que nous ayons reçu les marchandises ou que vous ayez fourni la preuve que vous avez renvoyé les marchandises, en fonction de la première éventualité.
Vous devez renvoyer les marchandises ou les remettre à Revaluation Books, Hounslow, United Kingdom, sans retard injustifié et, en tout état de cause, au plus tard 14 jours à compter du jour où vous nous avez communiqué votre décision de rétractation du présent contrat. Le délai est respecté si vous renvoyez les marchandises avant l'expiration du délai de 14 jours. Vous devrez prendre en charge les frais directs du renvoi des marchandises. Vous n'êtes responsable que de toute diminution de valeur des marchandises résultant d'une manipulation autre que celle nécessaire pour établir la nature, les caractéristiques et le fonctionnement des marchandises.
Exceptions au droit de rétractation
Le droit de rétractation ne s'applique pas à ce qui suit :
- Distribution de journaux, de revues ou de magazines, à l'exception des contrats d'abonnement ; et
- Fourniture d'un contenu numérique qui n'est pas fourni sur un support matériel (par exemple, sur un CD ou un DVD) si vous avez accepté, lors de votre commande, que nous puissions commencer à le livrer et que vous ne puissiez pas exercer votre droit de rétractation une fois la livraison commencée.
Conditions d'expédition
Orders usually dispatched within two working days.