LLM Evaluation & AI Quality Engineering: Measure, Regression-Test, Release, and Monitor LLM, RAG, and Agent Systems with Python (QA Testing)
Langue : anglais
Edité par Independently published, 2026
Série : Livre 7 sur 7 - QA Testing
- Livre broché
- Neuf

Vendeur : California Books, Miami, FL, Etats-UnisCalifornia Books
Vendeur AbeBooks depuis 27 octobre 2023
Etat: Neuf
EUR 31,19
Quantité disponible : Plus de 20 disponibles
Ajouter au panierA propos de cet article
Print on Demand.
N° de réf. du vendeur I-9798161271766
- Titre
- LLM Evaluation & AI Quality Engineering: Measure, Regression-Test, Release, and Monitor LLM, RAG, and Agent Systems with Python (QA Testing)
- Auteur
- Corvick, Braylen; Mondal, Masud
- Éditeur
- Independently published
- Année de publication
- 2026
- État de l'article
- New
- Reliure
- Couverture souple
- Langue
- anglais
- ISBN à 13 chiffres
- 9798161271766
- Série
- Livre 7 sur 7: QA Testing
Most teams "evaluate" an LLM application by eyeballing a few outputs or trusting one dashboard score. Then a prompt tweak, a model upgrade or a retrieval change quietly breaks production. LLM Evaluation & AI Quality Engineering shows you a better way: AI quality is an engineering lifecycle, not a single evaluation score. You will learn to Define, Measure, Evaluate, Diagnose, Improve, Regression Test, Release, Monitor and Learn, and to treat every measurement as evidence, not truth.
What you will build and learn
- A vendor-neutral Python evaluation package you own, backed by a free public companion repository with 119 automated tests
- Quality objectives, golden datasets, error analysis and failure taxonomies
- Deterministic code evaluators, metrics and rubrics, human annotation with Cohen's kappa and Krippendorff's alpha
- LLM-as-a-judge evaluators you have actually validated, with TPR/TNR meta-evaluation
- Statistics for non-deterministic systems: Wilson confidence intervals, bootstrap, McNemar paired comparison, sample size, pass@k and pass^k
- RAG evaluation: recall@k, precision@k, MRR, nDCG, groundedness, citation validity and retrieval-vs-generation attribution
- AI agent evaluation: sandboxed outcome checks, trajectory and tool-use evaluation, reliability
- Safety and red teaming: prompt injection, canaries, refusal and over-refusal, mapped to the OWASP Top 10 for LLM Applications 2025
- Evaluation-driven development, regression suites for model migration, and cost, latency and reliability trade-offs
- AI quality gates in CI/CD with GitHub Actions, and production observability with OpenTelemetry GenAI semantic conventions, drift detection and triage
Who this book is for
QA engineers, SDETs and test leads moving into AI quality; AI/ML engineers who own LLM, RAG or agent features; and technical leads who sign off AI releases. You need intermediate Python, basic pytest and Git.
Why this book is different
Written by a software QA professional, it turns evaluation results into release decisions you can defend. DeepEval, Ragas, Inspect AI, Arize Phoenix, MLflow, Langfuse, LangSmith and Promptfoo are compared fairly, but you are never locked into a vendor. The final part shows how to run an AI quality engineering programme: RACI, release sign-off, a maturity model, and a practical mapping to NIST AI RMF and ISO/IEC 42001.
23 chapters, 5 parts, 21 figures, 24 tables and 10 appendices. Part of the author's AI Quality Engineering series. Pair it with AI Testing with Python for foundations and RAG in Production for building the systems you will evaluate.
« Synopsis » peut appartenir à une autre édition de cet ouvrage.
California Books
Miami, FL, Etats-Unis
Vendeur AbeBooks depuis 27 octobre 2023
Frais d'expédition à l'intérieur de ce pays : Etats-Unis
| Article | 3 à 7 jours ouvrés | 2 à 5 jours ouvrés |
|---|---|---|
| Premier article | EUR 0,00 | EUR 10,69 |
Modes de paiement
Description de la boutique
We have 20 years experience selling books worldwide! Friendly customer support. Your satisfaction guaranteed!
Spécialité
All authorized categoriesProfil professionnel du vendeur
Miramar International Services LLC
FL, Etats-Unis
Droit de rétractation
Si vous êtes un consommateur, vous pouvez exercer votre droit de rétractation sur le contrat conformément à ce qui suit. Le mot « consommateur » désigne toute personne physique agissant à des fins qui n'entrent pas dans le cadre de son activité commerciale, artisanale ou professionnelle.
Informations concernant le droit de rétractation
Droit statutaire de rétractation
Vous avez le droit d'exercer votre droit de rétractation sur ce contrat dans les 14 jours sans donner de raison.
Le délai de rétractation expirera au bout de 14 jours à compter du jour où vous-même, ou un tiers autre que le transporteur et désigné par vous, prendrez physiquement possession de la dernière marchandise, du dernier lot ou de la dernière pièce.
Pour exercer votre droit de rétractation, remplissez électroniquement et envoyez une déclaration claire sur notre site Web, sous « Vos achats » dans « Votre compte ». Nous vous communiquerons sans délai un accusé de réception de cette rétractation sur un support durable (par exemple, par e-mail).
Pour respecter le délai de rétractation, il vous suffit d'envoyer votre message concernant l'exercice de votre droit de rétractation avant l'expiration du délai de rétractation.
Effets de la rétractation
Si vous exercez votre droit de rétractation sur ce contrat, nous vous rembourserons tous les paiements que vous avez effectués, y compris les frais de livraison (à l'exception des frais supplémentaires résultant du choix d'un mode de livraison autre que le type de livraison standard le moins cher que nous proposons).
Nous pouvons déduire du remboursement la perte de valeur de toute marchandise livrée, si la perte est le résultat d'une manipulation inutile de votre part.
Nous effectuerons le remboursement dans les meilleurs délais, et au plus tard 14 jours après le jour où nous aurons été informés de votre décision d'exercer votre droit de rétractation sur ce contrat.
Nous effectuerons le remboursement en utilisant le même moyen de paiement que celui que vous avez utilisé pour la transaction initiale, sauf si vous en avez expressément convenu autrement ; en tout état de cause, aucuns frais ne vous seront facturés à la suite d'un tel remboursement.
Nous pouvons suspendre le remboursement jusqu'à ce que nous ayons reçu les marchandises ou que vous ayez fourni la preuve que vous avez renvoyé les marchandises, en fonction de la première éventualité.
Vous devez renvoyer les marchandises ou les remettre à California Books, Fort Wayne, Indiana, U.S.A., sans retard injustifié et, en tout état de cause, au plus tard 14 jours à compter du jour où vous nous avez communiqué votre décision de rétractation du présent contrat. Le délai est respecté si vous renvoyez les marchandises avant l'expiration du délai de 14 jours. Vous devrez prendre en charge les frais directs du renvoi des marchandises. Vous n'êtes responsable que de toute diminution de valeur des marchandises résultant d'une manipulation autre que celle nécessaire pour établir la nature, les caractéristiques et le fonctionnement des marchandises.
Exceptions au droit de rétractation
Le droit de rétractation ne s'applique pas à ce qui suit :
- Distribution de journaux, de revues ou de magazines, à l'exception des contrats d'abonnement ; et
- Fourniture d'un contenu numérique qui n'est pas fourni sur un support matériel (par exemple, sur un CD ou un DVD) si vous avez accepté, lors de votre commande, que nous puissions commencer à le livrer et que vous ne puissiez pas exercer votre droit de rétractation une fois la livraison commencée.