Distributed AI Systems : A practical guide to building scalable training, inference, and serving systems for production AI
Langue : anglais
Edité par Packt Publishing, 2026
- Livre broché
- Neuf
Vendeur : AHA-BUCH GmbH, Einbeck, AllemagneAHA-BUCH GmbH
Vendeur AbeBooks depuis 14 août 2006
Etat: Neuf
EUR 72,86
Quantité disponible : 2 disponible(s)
Ajouter au panierItem description from seller
N° de réf. du vendeur 9781807301712
- Titre
- Distributed AI Systems : A practical guide to building scalable training, inference, and serving systems for production AI
- Auteur
- Fuheng Wu
- Éditeur
- Packt Publishing
- Année de publication
- 2026
- État de l'article
- Neu
- Reliure
- Taschenbuch
- Langue
- anglais
- ISBN à 10 chiffres
- 1807301710
- ISBN à 13 chiffres
- 9781807301712
- Poids de l'article
- 1 028 grammes
- Dimensions
- 235x191x30 mm
Learn distributed AI through hands-on experience with training frameworks, inference engines, and orchestration tools to build production-ready training, inference, and serving systems for modern large-scale AI.
Free with your book: DRM-free PDF version + access to Packt's next-gen Reader*
Key Features
- Understand GPU hardware, high-speed interconnects, and parallelism strategies
- Hands-on exercises at the end of every chapter
- Learn distributed training with resource-optimized techniques
- Deploy high-performance inference with advanced optimization and memory management
- Build production serving stacks with job schedulers, orchestration, and observability
Book Description
As AI models grow to billions and trillions of parameters, distributed systems are essential for training and serving them. Many resources cover fragments of this domain, but none provide a full path from distributed training to inference and production deployment. This book fills that gap with practical, production-focused examples.
It starts with GPU and memory estimation, data preparation, and an overview of GPU architecture, interconnects, and core parallelism strategies. You’ll learn training techniques including data parallelism for single and multi-node setups, parameter sharding for memory-efficient scaling, and methods to reduce memory usage in large models.
The next section covers distributed inference and deployment. You’ll build high-performance systems using optimized attention, caching, operator fusion, and router-based designs. You’ll deploy on schedulers and container platforms with GPU-aware orchestration and assemble production stacks emphasizing reliability, scalability, and observability.
The final section covers benchmarking, performance tuning, and trends like MoE models, edge-cloud coordination, and advanced parallelism. Each chapter includes tested code and debugging guidance.
By the end, you’ll be able to build distributed AI systems that scale from a single GPU to large clusters.
What you will learn
- Estimate memory and compute requirements for training and inference
- Understand GPU hardware, interconnects, and parallelism strategies
- Implement distributed training with parallel and sharded techniques
- Build production inference systems with batching and memory management
- Deploy via cluster orchestration with optimized GPU scheduling
- Create production serving stacks with routing and observability
- Benchmark distributed systems using industry-standard methodologies
- Explore emerging model trends, scaling strategies, and future paths
Who this book is for
This book is designed for ML engineers, AI researchers, and DevOps professionals who need to train or serve large AI models at scale. Platform engineers, HPC cluster administrators, and cloud architects will also find it valuable for advancing their skill sets.
A basic understanding of Python and PyTorch is required to get started. Prior experience with distributed systems, cluster schedulers, or container orchestration is helpful but not necessary - the book introduces these concepts from the ground up, beginning with resource estimation, data preparation, and hardware fundamentals.
Table of Contents
- Introduction to Modern Distributed AI
- GPU Hardware, Networking, and Parallelism Strategies
- Distributed Training with PyTorch DDP
- Scaling with Fully Sharded Data Parallel (FSDP)
- Beyond State Sharding with DeepSpeed and Megatron
- Distributed Inference and vLLM
- Cross-Request Optimization with SGLang
(N.B. Please use the Read Sample option to see further chapters)
« Synopsis » peut appartenir à une autre édition de cet ouvrage.
À propos de l’auteur
Henry (Fuheng) Wu is a Principal Machine Learning Tech Lead at Oracle's Generative AI organization, specializing in distributed training, large-scale inference, and GPU systems. He has delivered core components of Oracle's Vision and Document Understanding AI services, and co-authored a Microsoft and Oracle blog on high-performance deep learning. He has contributed to open-source projects including SGLang, genai-bench, pyLLaMA, chatLLaMA, and Oracle's HiQ observability system. With hands-on experience across PyTorch Distributed, DeepSpeed, Kubernetes GPU clusters, and production LLM serving, he focuses on building practical, scalable AI systems used in real-world enterprise workloads.
« A propos de ce titre » peut appartenir à une autre édition de cet ouvrage.
AHA-BUCH GmbH
Einbeck, Allemagne
Vendeur AbeBooks depuis 14 août 2006
Frais d'expédition de Allemagne vers Etats-Unis
| Article | 7 à 10 jours ouvrés | 5 à 7 jours ouvrés |
|---|---|---|
| Premier article | EUR 37,70 | EUR 42,84 |
Modes de paiement
- Chèque
- Paypal
- Virement bancaire
Description de la boutique
Spécialité
Kinderbücher & Kinderhör Casetten, German Books, Software, Natur & Tiere, Ratgeber, Sachbücher, Englische Bücher, Medizin & Gesundheit, Universität & StudiumProfil professionnel du vendeur
AHA-BUCH GmbH
Garlebsen 48
Einbeck, Allemagne 37574
Conditions de vente
Empreinte
Informations sur le vendeur:
AHA-BUCH GmbH
représenté par le directeur général Christel Glass
Garlebsen 48
37574 Einbeck
Alemagne
Téléphone: 055639996039
Fax: 055639995974
E-Mail: abebooks@aha-buch.de
USt-IdNr.: DE261904229
inscrit à Registre du commerce Amtsgerichtes Göttingen
Handelsregisternummer HRB 200691
Modes alternatifs de règlement des différends :
La Commission européenne fournit une plate-forme de règlement extrajudiciaire des litiges en ligne (plate-forme ODR), accessible sous https://ec.europa.eu/odr.
Nous sommes membres de l’initiative « FairCommerce » depuis le 25.05.2018.
Pour plus d’informations, voir www.fair-commerce.de.
Droit de rétractation
Si vous êtes un consommateur, vous pouvez exercer votre droit de rétractation sur le contrat conformément à ce qui suit. Le mot « consommateur » désigne toute personne physique agissant à des fins qui n'entrent pas dans le cadre de son activité commerciale, artisanale ou professionnelle.
Informations concernant le droit de rétractation
Droit statutaire de rétractation
Vous avez le droit d'exercer votre droit de rétractation sur ce contrat dans les 14 jours sans donner de raison.
Le délai de rétractation expirera au bout de 14 jours à compter du jour où vous-même, ou un tiers autre que le transporteur et désigné par vous, prendrez physiquement possession de la dernière marchandise, du dernier lot ou de la dernière pièce.
Pour exercer votre droit de rétractation, remplissez électroniquement et envoyez une déclaration claire sur notre site Web, sous « Vos achats » dans « Votre compte ». Nous vous communiquerons sans délai un accusé de réception de cette rétractation sur un support durable (par exemple, par e-mail).
Pour respecter le délai de rétractation, il vous suffit d'envoyer votre message concernant l'exercice de votre droit de rétractation avant l'expiration du délai de rétractation.
Effets de la rétractation
Si vous exercez votre droit de rétractation sur ce contrat, nous vous rembourserons tous les paiements que vous avez effectués, y compris les frais de livraison (à l'exception des frais supplémentaires résultant du choix d'un mode de livraison autre que le type de livraison standard le moins cher que nous proposons).
Nous pouvons déduire du remboursement la perte de valeur de toute marchandise livrée, si la perte est le résultat d'une manipulation inutile de votre part.
Nous effectuerons le remboursement dans les meilleurs délais, et au plus tard 14 jours après le jour où nous aurons été informés de votre décision d'exercer votre droit de rétractation sur ce contrat.
Nous effectuerons le remboursement en utilisant le même moyen de paiement que celui que vous avez utilisé pour la transaction initiale, sauf si vous en avez expressément convenu autrement ; en tout état de cause, aucuns frais ne vous seront facturés à la suite d'un tel remboursement.
Nous pouvons suspendre le remboursement jusqu'à ce que nous ayons reçu les marchandises ou que vous ayez fourni la preuve que vous avez renvoyé les marchandises, en fonction de la première éventualité.
Vous devez renvoyer les marchandises ou les remettre à AHA-BUCH GmbH, Einbeck, Germany, sans retard injustifié et, en tout état de cause, au plus tard 14 jours à compter du jour où vous nous avez communiqué votre décision de rétractation du présent contrat. Le délai est respecté si vous renvoyez les marchandises avant l'expiration du délai de 14 jours. Vous devrez prendre en charge les frais directs du renvoi des marchandises. Vous n'êtes responsable que de toute diminution de valeur des marchandises résultant d'une manipulation autre que celle nécessaire pour établir la nature, les caractéristiques et le fonctionnement des marchandises.
Exceptions au droit de rétractation
Le droit de rétractation ne s'applique pas à ce qui suit :
- Distribution de journaux, de revues ou de magazines, à l'exception des contrats d'abonnement ; et
- Fourniture d'un contenu numérique qui n'est pas fourni sur un support matériel (par exemple, sur un CD ou un DVD) si vous avez accepté, lors de votre commande, que nous puissions commencer à le livrer et que vous ne puissiez pas exercer votre droit de rétractation une fois la livraison commencée.
Conditions d'expédition
Nous expédions votre commande après les avoir reçues
pour les articles disponibles au plus tard 24 heures,
pour les articles avec un approvisionnement de nuit au plus tard 48 heures.
Dans le cas où nous devons commander un article auprès de notre fournisseur, notre délai d’expédition dépend de la date de réception des articles, mais les articles seront expédiés le jour même.
Notre objectif est d’envoyer les articles commandés de la manière la plus rapide, mais aussi la plus efficace et la plus sécurisée à nos clients.