Practical LLM Evaluation for Production Systems | Measure, monitor, and improve AI system reliability across training and inference
Sprache: Englisch
Verlag: Packt Publishing, 2026
- Softcover
- Neu

Anbieter: preigu, Osnabrück, Deutschlandpreigu
Verkäufer:in bei AbeBooks seit 5. August 2024
Zustand: Neu
EUR 65,30
Anzahl: 5 verfügbar
In den WarenkorbArtikelbeschreibung des Verkäufers
Practical LLM Evaluation for Production Systems | Measure, monitor, and improve AI system reliability across training and inference | Ammar Mohanna (u. a.) | Taschenbuch | Englisch | 2026 | Packt Publishing | EAN 9781807423896 | Verantwortliche Person für die EU: Libri GmbH, Europaallee 1, 36244 Bad Hersfeld, gpsr[at]libri[dot]de | Anbieter: preigu Print on Demand.
Bestandsnummer des Verkäufers 135855439
- Titel
- Practical LLM Evaluation for Production Systems | Measure, monitor, and improve AI system reliability across training and inference
- Autor
- Ammar Mohanna (u. a.)
- Verlag
- Packt Publishing
- Erscheinungsjahr
- 2026
- Zustand
- Neu
- Einband
- Taschenbuch
- Sprache
- Englisch
- ISBN-10
- 1807423891
- ISBN-13
- 9781807423896
- Artikelgewicht
- 902 Gramm
- Abmessungen
- 235 x 191 x 26 mm
- Verkäuferkataloge
- Bücher
Build reliable Build reliable AI evaluation frameworks that measure quality, safety, grounding, and production readiness across modern LLM and SLM applications
Free with your book: DRM-free PDF version + access to Packt's next-gen Reader*
Key Features
- Design evaluation frameworks for LLMs, SLMs, multimodal, reasoning, and agentic AI systems
- Measure quality, safety, grounding, robustness, and production readiness with practical metrics
- Apply unified evaluation methods to text, multimodal, and agentic AI systems
Book Description
Modern AI systems are expected to do far more than generate fluent text. They should be able to retrieve information, reason through complex problems, understand images and documents, call external tools, execute workflows, and support critical business decisions. Evaluating these systems requires methods that go beyond traditional NLP benchmarks.
Taking a product-first approach, this book presents evaluation as a continuous operational capability spanning training, inference, and end-to-end system operation. You'll learn how to connect evaluation metrics directly to deployment gates, rollback criteria, monitoring systems, and production reliability objectives.
Using practical examples and real-world workflows, you'll explore evaluation strategies for text LLMs, vision-language models, multimodal conversational systems, mixture-of-experts architectures, reasoning models, agentic systems, retrieval pipelines, Text2SQL and Text2Cypher systems, embedding models, OCR workflows, and guardrail SLMs. You'll also learn how to manage non-determinism, design repeatable test suites, validate tool execution, and measure long-horizon agent behavior in production.
By the end of the book, you'll be able to design robust evaluation systems that help teams deploy reliable, safe, and economically viable LLM-powered applications with confidence.
*Email sign-up and proof of purchase required
What you will learn
- Design repeatable evaluation pipelines for LLM systems
- Assess inference quality, latency, and operational cost
- Evaluate multimodal, agentic, and reasoning AI systems
- Build regression gates and deployment evaluation workflows
- Detect hallucinations and grounding failures in VLMs
- Assess routing stability in mixture-of-experts models
- Evaluate Text2SQL, OCR, and retrieval-based systems
- Translate evaluation signals into production decisions
Who this book is for
ML engineers, GenAI engineers, AI architects, data scientists, platform engineers, and engineering managers responsible for deploying LLM-powered systems in production will benefit from this book. Applied AI researchers and technical decision-makers looking to measure reliability, safety, and operational readiness across modern AI systems will also find it valuable. Readers should have a working understanding of machine learning, Python, and modern LLM concepts.
Table of Contents
- Foundations of LLM Evaluation: Core Concepts and Primitives
- Building Reliable Text-Only LLMs Through Training-Time Evaluation
- Controlling Text-Only LLM Behavior at Inference Time
- Grounding and Reliability in Vision Language Models During Training
- Evaluating Visual Grounding and Reliability at Inference Time
- Evaluating Multimodal Conversational LLMs Across Training and Inference
- Evaluating Routing and Reliability in Mixture of Experts LLMs
- Evaluating Reliability and Control in Computer-Using Agent Systems
- Evaluating Information Extraction and Document-Understanding LLMs
- Evaluating Reasoning LLMs in Depth
- Evaluating Specialized LLM Systems
„Inhaltsangabe“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
Über die Autorin bzw. den Autor
Ammar Mohanna, PhD, is an AI and machine learning specialist based in Beirut, Lebanon. His work focuses on practical LLM systems, evaluation, MLOps/LLMOps, and applied generative AI. He teaches and consults on production AI, AI agents, and graph-based machine learning, with an emphasis on turning research ideas into reliable, usable systems for real-world teams.
Indrajit Kar comes with 18 years of various Industry experience, leading all three division, AI consulting R&D and solution engineering. He and his team build cutting edge AI and deep learning solutions to address some of the toughest problems for his customers. He has 14 research papers and 12 patents in NLP, Timeseries, Computer Vision, and Deep learning. In his spare time, Indrajit enjoys giving advice to small and medium-sized entrepreneurs on how to enter the AI and data science markets, attract customers, develop their products, and monetize their existing data. He's won many accolades in his career from ace innovator, services excellence awards, and 40 top data scientist under the age of 40 award. He has enabled AI & Data science program for sectors like Smart Cities, Retail, supply chain, automotive factories, Healthcare, pharma, infrastructure & utilities. Also heading research and development in the area of Deep learning, predictive maintenance using IIoT/sensor data, edgeAi, Lidar tech, NLP and GPU powered computer vision. In the past, he spearheaded complex Analytics projects helping industries like BFSI, Retail, CPG, FMCG, petroleum/oil & gas, to take data driven decision, predict business outcomes, allocate budget, predict customer behaviour, retention customers, acquire new customers, maximize revenue & forecasting for key areas Pricing, marketing, sale, advertisement and promotion.
Zonunfeli Ralte is an Artificial Intelligence entrepreneur, researcher, and technology leader. She founded RastrAI Private Limited, the first AI startup from India's North East region, advancing innovation in emerging technologies. Recognized as Mizoram's first woman specializing in Artificial Intelligence and Machine Learning, she has authored three books on Artificial Intelligence, Generative AI, and Computer Vision. She is also an accomplished researcher with 16 published research papers and six Best Research Awards, reflecting her significant contributions to Artificial Intelligence, Deep Learning, and applied AI innovation.
„Über diesen Titel“ gehört möglicherweise zu einer anderen Auflage dieses Titels.
preigu
Osnabrück, Deutschland
Verkäufer:in bei AbeBooks seit 5. August 2024
Versandkosten von Deutschland nach USA
| Artikel | 60 bis 60 Werktage | 60 bis 60 Werktage |
|---|---|---|
| Erster Artikel | EUR 70,00 | EUR 70,00 |
Zahlungsarten
- PayPal
Shopbeschreibung
preigu betreibt einen Onlineversandhandel mit über 1 Mio. Produkten in verschiedenen Sortimenten. Das Kernsortiment besteht aus Büchern, Medien und Spielwaren. Ein gelungenes Einkaufserlebnis ist das Ziel einer jeden Bestellung bei preigu, denn der Kunde und seine Zufriedenheit stehen an erster Stelle. preigu setzt daher auf einen kompetenten Kundenservice, funktionierende Prozesse und schnelle Reaktion.
Spezialisierung
Bücher, SpielwarenUnternehmensdaten der Verkäuferin bzw. des Verkäufers
preigu GmbH & Co. KG
Lengericher Landstraße 19
Osnabrück, Deutschland 49078
Verkaufsbedingungen
Impressum
Gesetzliche Anbieterkennung:
preigu GmbH & Co. KG
Lengericher Landstr. 19
49078 Osnabrück
Deutschland
Telefon: +49 (0) 541 / 580 72 84
Email: mail@preigu.de
USt-IdNr.: DE 455 380 498
AG Osnabrück - HRA 209647
PhG: preigu Verwaltung GmbH
AG Osnabrück - HRB 221793
Geschäftsführer: Ansas Meyer
Wir sind nicht bereit und nicht verpflichtet, an Streitbeilegungsverfahren vor Verbraucherschlichtungsstellen teilzunehmen.
Wir sind seit 30.11.2016 Mitglied der Initiative "FairCommerce".
Nähere Informationen hierzu finden Sie unter https://www.haendlerbund.de/de/haendlerbund/interessenvertretung/faircommerce
Widerrufsrecht
Widerrufsbelehrung / Muster-Widerrufsformular
Widerrufsrecht für den Verkauf von Waren
Widerrufsrecht für Verbraucher
(Verbraucher ist jede natürliche Person, die ein Rechtsgeschäft zu Zwecken abschließt, die überwiegend weder ihrer gewerblichen noch ihrer selbstständigen beruflichen Tätigkeit zugerechnet werden können.)
Widerrufsbelehrung
Widerrufsrecht
Sie haben das Recht, binnen 14 Tagen ohne Angabe von Gründen diesen Vertrag zu widerrufen.
Die Widerrufsfrist beträgt 14 Tage ab dem Tag,
-
an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Beförderer ist, die Waren in Besitz genommen haben bzw. hat, sofern Sie eine oder mehrere Waren im Rahmen einer einheitlichen Bestellung bestellt haben und diese einheitlich geliefert wird bzw. werden;
-
an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Beförderer ist, die letzte Ware in Besitz genommen haben bzw. hat, sofern Sie mehrere Waren im Rahmen einer einheitlichen Bestellung bestellt haben und diese getrennt geliefert werden;
-
an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Beförderer ist, die letzte Teilsendung oder das letzte Stück in Besitz genommen haben bzw. hat, sofern Sie eine Ware bestellt haben, die in mehreren Teilsendungen oder Stücken geliefert wird;
Um Ihr Widerrufsrecht auszuüben, müssen Sie uns (preigu GmbH & Co. KG, Lengericher Landstr. 19, 49078 Osnabrück, Telefonnr.: +49 (0) 541 / 580 72 84, E-Mail-Adresse: mail@preigu.de) mittels einer eindeutigen Erklärung (z.B. ein mit der Post versandter Brief oder eine E-Mail) über Ihren Entschluss, diesen Vertrag zu widerrufen, informieren. Sie können dafür das beigefügte Muster-Widerrufsformular verwenden, das jedoch nicht vorgeschrieben ist.
Sie können Ihr Widerrufsrecht auch online unter einer entsprechend bezeichneten Schaltfläche ("Vertrag widerrufen" oder ähnliche Bezeichnung) auf der AbeBooks/ZVAB-Webseite ausüben. Wenn Sie diese Online-Funktion nutzen, wird Ihnen auf einem dauerhaften Datenträger (z.B. durch eine E-Mail) unverzüglich eine Eingangsbestätigung mit Informationen zum Inhalt der Widerrufserklärung sowie dem Datum und der Uhrzeit ihres Eingangs übermittelt.
Zur Wahrung der Widerrufsfrist reicht es aus, dass Sie die Mitteilung über die Ausübung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.
Folgen des Widerrufs
Wenn Sie diesen Vertrag widerrufen, haben wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschließlich der Lieferkosten (mit Ausnahme der zusätzlichen Kosten, die sich daraus ergeben, dass Sie eine andere Art der Lieferung als die von uns angebotene, günstigste Standardlieferung gewählt haben), unverzüglich und spätestens binnen 14 Tagen ab dem Tag zurückzuzahlen, an dem die Mitteilung über Ihren Widerruf dieses Vertrags bei uns eingegangen ist. Für diese Rückzahlung verwenden wir dasselbe Zahlungsmittel, das Sie bei der ursprünglichen Transaktion eingesetzt haben, es sei denn, mit Ihnen wurde ausdrücklich etwas anderes vereinbart; in keinem Fall werden Ihnen wegen dieser Rückzahlung Entgelte berechnet.
Wir können die Rückzahlung verweigern, bis wir die Waren wieder zurückerhalten haben oder bis Sie den Nachweis erbracht haben, dass Sie die Waren zurückgesandt haben, je nachdem, welches der frühere Zeitpunkt ist.
Sie haben die Waren unverzüglich und in jedem Fall spätestens binnen 14 Tagen ab dem Tag, an dem Sie uns über den Widerruf dieses Vertrags unterrichten, an uns zurückzusenden oder zu übergeben. Die Frist ist gewahrt, wenn Sie die Waren vor Ablauf der Frist von 14 Tagen absenden.
Sie tragen die unmittelbaren Kosten der Rücksendung der Waren.
Sie müssen für einen etwaigen Wertverlust der Waren nur aufkommen, wenn dieser Wertverlust auf einen zur Prüfung der Beschaffenheit, Eigenschaften und Funktionsweise der Waren nicht notwendigen Umgang mit ihnen zurückzuführen ist.
Ausschluss- bzw. Erlöschensgründe
Das Widerrufsrecht besteht nicht bei Verträgen
- zur Lieferung von Waren, die nicht vorgefertigt sind und für deren Herstellung eine individuelle Auswahl oder Bestimmung durch den Verbraucher maßgeblich ist oder die eindeutig auf die persönlichen Bedürfnisse des Verbrauchers zugeschnitten sind;
- zur Lieferung von Waren, die schnell verderben können oder deren Verfallsdatum schnell überschritten würde;
- zur Lieferung alkoholischer Getränke, deren Preis bei Vertragsschluss vereinbart wurde, die aber frühestens 30 Tage nach Vertragsschluss geliefert werden können und deren aktueller Wert von Schwankungen auf dem Markt abhängt, auf die der Unternehmer keinen Einfluss hat;
- zur Lieferung von Zeitungen, Zeitschriften oder Illustrierten mit Ausnahme von Abonnement-Verträgen.
Das Widerrufsrecht erlischt vorzeitig bei Verträgen
- zur Lieferung versiegelter Waren, die aus Gründen des Gesundheitsschutzes oder der Hygiene nicht zur Rückgabe geeignet sind, wenn ihre Versiegelung nach der Lieferung entfernt wurde;
- zur Lieferung von Waren, wenn diese nach der Lieferung aufgrund ihrer Beschaffenheit untrennbar mit anderen Gütern vermischt wurden;
- zur Lieferung von Ton- oder Videoaufnahmen oder Computersoftware in einer versiegelten Packung, wenn die Versiegelung nach der Lieferung entfernt wurde.
Muster-Widerrufsformular
(Wenn Sie den Vertrag widerrufen wollen, dann füllen Sie bitte dieses Formular aus und senden Sie es zurück.)
-
An preigu GmbH & Co. KG, Lengericher Landstr. 19, 49078 Osnabrück, E-Mail-Adresse: mail@preigu.de :
-
Hiermit widerrufe(n) ich/ wir () den von mir/ uns () abgeschlossenen Vertrag über den Kauf der folgenden Waren ()/
die Erbringung der folgenden Dienstleistung () -
Bestellt am ()/ erhalten am ()
-
Name des/ der Verbraucher(s)
-
Anschrift des/ der Verbraucher(s)
-
Unterschrift des/ der Verbraucher(s) (nur bei Mitteilung auf Papier)
-
Datum
(*) Unzutreffendes streichen.