LLMアプリケーション評価駆動開発継続的に改善し運用していくための実践知

📘『LLMアプリケーション評価駆動開発継続的に改善し運用していくための実践知』（ISBN: 9784798190723）

翔泳社から2026年9月24日に発売予定の一冊です。出版社の紹介によれば、出力が確率的で「正解」を定めにくいLLMアプリケーションについて、評価の基礎から継続的な改善・運用の方法までを扱うとのこと。全10章＋付録で、なぜ評価が必要なのかという前提の整理に始まり、LangSmithを用いた実装、LLM-as-a-Judgeの手法、リリース前の評価とチューニング、リリース後のモニタリング、さらにモデル自体の評価までが射程に入っています。生成AIを組み込んだ機能は作ること自体より「品質をどう測り、劣化にどう気づくか」で悩みがちなので、その部分を体系立てて学べるのは非常に魅力的です。これから開発を始めるチームにも、すでに運用中で改善の手がかりを探しているチームにも効きそうで、ぜひ読んでみたいと思っています。