Local LLM Inference Optimization (Paperback)

Sprache: Englisch

Verlag: Independently Published, 2026

9798258375193

Anbieter: CitiRetail, Stevenage, Vereinigtes KönigreichCitiRetail

Verkäufer/-in mit 5 Sternen

Verkäufer:in bei AbeBooks seit 29. Juni 2022

Softcover

Zustand: Neu

EUR 23,32

EUR 44,12 Versand 
Versand von Vereinigtes Königreich nach USA

Anzahl: 1 verfügbar

In den Warenkorb
30 Tage kostenlose Rückgabe

Artikelbeschreibung des Verkäufers

Paperback. Stop Renting Intelligence. Start Optimizing Your Own.Do you want to run 70B parameter models on a single consumer GPU? Are you tired of high API costs, network latency, and the privacy risks of cloud-based AI?The "Local LLM Revolution" is here, but running Large Language Models (LLMs) privately is only half the battle. To make them truly useful, you must master Inference Optimization.In Local LLM Inference Optimization, you will move beyond basic "out-of-the-box" setups and dive into the high-performance engineering required to squeeze every drop of power from your hardware. Whether you are using NVIDIA CUDA, Apple Silicon (MLX), or AMD ROCm, this comprehensive guide provides the technical blueprint for the sovereign engineer. What You Will Master: The Quantization Deep-Dive: Learn to navigate the "Quantization Tax" using GGUF, EXL2, AWQ, and GPTQ. Move from FP32 to 4-bit and even 1.58-bit (BitNet) without losing the model's "mind."Advanced Memory Management: Defeat "Out of Memory" (OOM) errors by mastering KV Cache Management, PagedAttention, and FlashAttention 2 & 3.The Speed Multipliers: Double your Tokens Per Second (TPS) using Speculative Decoding, Continuous Batching, and Lookahead Heuristics.Hardware Architecture: Architect high-performance local servers using Multi-GPU Pipeline Parallelism and CPU/GPU offloading strategies.Context Window Expansion: Use RoPE Scaling, YaRN, and LongRoPE to push 8k models to 128k+ context on consumer hardware.The Full Local Stack: Step-by-step guides for Llama.cpp, Ollama, vLLM, and TGI (Text Generation Inference).Security & Privacy: Deploy Air-Gapped AI environments and secure your infrastructure using Safetensors and local sandboxing.Why This Book?This book focuses on Deployment and Efficiency. It is written for the Lead Engineer, the Privacy-Conscious CTO, and the Prosumer Hobbyist who demands low Time to First Token (TTFT) and maximum Perf/Watt.Stop paying for tokens. Own your weights. Optimize your future. This item is printed on demand. Shipping may be from our UK warehouse or from our Australian or US warehouses, depending on stock availability.…

Bestandsnummer des Verkäufers 9798258375193

Titel
Local LLM Inference Optimization (Paperback)
Autor
Thomas O. Greene
Verlag
Independently Published
Erscheinungsjahr
2026
Zustand
new
Einband
Paperback
Sprache
Englisch
ISBN-13
9798258375193

CitiRetail

Stevenage, Vereinigtes Königreich

Verkäufer/-in mit 5 Sternen

Verkäufer:in bei AbeBooks seit 29. Juni 2022

Versandkosten von Vereinigtes Königreich nach USA

Artikel7 bis 14 Werktage7 bis 60 Werktage
Erster ArtikelEUR 44,12EUR 44,12
Die Versandzeiten werden von den Verkäuferinnen und Verkäufern festgelegt. Sie variieren je nach Versanddienstleister und Standort. Sendungen, die den Zoll passieren, können Verzögerungen unterliegen. Eventuell anfallende Abgaben oder Gebühren sind von der Käuferin bzw. dem Käufer zu tragen. Die Verkäuferin bzw. der Verkäufer kann Sie bezüglich zusätzlicher Versandkosten kontaktieren, um einen möglichen Anstieg der Versandkosten für Ihre Artikel auszugleichen.

Zahlungsarten

  • Visa
  • Mastercard
  • American Express
  • Carte Bleue
  • Apple Pay
  • Google Pay

Shopbeschreibung

Online business

Unternehmensdaten der Verkäuferin bzw. des Verkäufers

ABC BOOKS LIMITED

10 John Street
London, Vereinigtes Königreich WC1N 2EB