LLM Frontline

#発展 の記事

開発・エージェント

Agentic RAG(エージェンティックRAG)とは｜1回検索で終わる従来RAGを、計画・再検索・自己反省で賢くする

retrieve->generateを1回で終える従来RAGの限界(多段質問・曖昧クエリ・取りこぼし)を出発点に、Agentic RAGを定義します。クエリ理解と計画、ルーティング、多段推論・分解、検索のオーケストレーション、自己反省という中核パターンを整理し、精度と引き換えに増えるレイテンシ・コスト・評価の難しさまで、向く場面と向かない場面を切り分けて実務目線でまとめます。

開発・エージェント

知識蒸留(distillation)とは｜大きな教師モデルの知識を小さな生徒モデルへ移す仕組み

知識蒸留は大きな教師モデルの振る舞いを小さな生徒モデルに真似させて学習させる技術です。原典のsoft targetとtemperature、量子化やMoEとの違い、現代LLMでのデータ蒸留、教師の質が上限になる勘所、商用APIの出力を学習に使う際の規約上の注意まで、優劣を断定せず整理します。

開発・エージェント

ハイブリッド検索とは｜キーワード検索(BM25)とベクトル検索を組み合わせてRAGの取りこぼしを減らす

ベクトル検索は言い換えや意味に強い一方で型番・固有名詞・略語の完全一致に弱く、BM25などのキーワード検索はその逆です。両方で候補を集めてRRF(Reciprocal Rank Fusion)などで統合するハイブリッド検索の仕組み、スコア統合の難しさとRRFがスケール非依存な理由、retrieve->fuse->rerankの三段構成、向く場面と運用コストを実務目線で整理します。

開発・エージェント

MoE(Mixture of Experts)とは｜総パラメータと活性パラメータの違いを実務目線で

近年の大規模モデルが広く採用するスパースMoE(混合エキスパート)を、dense(密)モデルとの違いから解説します。FFNをexpertに分割しrouterがtop-k routingで一部だけ動かす仕組み、総パラメータと活性パラメータの区別、VRAMは総規模・計算は活性規模というねじれ、学習と推論の注意点、モデル選定での読み方までまとめます。

ルール・リスク管理

AIエージェントのメモリ汚染(sleeper memory poisoning)とは｜永続メモリを狙う遅延型攻撃を業務目線で

永続メモリ(long-term memory)を持つLLMエージェントに、外部文書やWebページ経由で偽の「記憶」を書き込ませ、後日の別会話で発火させる「スリーパー型メモリ汚染」を、2026年の研究をもとに冷静に解説します。単一ターンのプロンプトインジェクションとの違い、性能と攻撃面のトレードオフ、運用で取れる防御策を、研究段階の報告値・帰属明示で整理します。

開発・エージェント

ファインチューニングとRAGの使い分け｜LLMをカスタマイズする2つの道の選び方

LLMを自社用途に寄せる方法には、プロンプト、RAG、ファインチューニングの階層があります。RAGとファインチューニングはそれぞれ何を得意とし、どこで選ぶべきか。知識の更新性、出力の安定性、コストとトラフィックの観点から使い分けの原則を整理し、実務で有効なハイブリッド構成と落とし穴まで、公式ドキュメントを確認しながら冷静にまとめます。

開発・エージェント

LLMアプリの評価(eval)の作り方｜「動いた気がする」で止めないための実務手順

LLMアプリの品質を測る評価(eval)の作り方を、実務目線で整理します。実運用に似せた評価データの用意、タスク型に応じた指標設計、自動評価と人手レビューの併用、LLM-as-a-judgeの使いどころと落とし穴、失敗トレースをテストへ戻す継続的な評価まで、小さく始める手順にまとめました。

プロンプト実務

コンテキストエンジニアリングとは｜プロンプトの次に来る設計の基本

プロンプトエンジニアリングの次の設計単位として注目される「コンテキストエンジニアリング」を、実務目線で整理します。コンテキストの劣化(context rot)という前提、渡す情報の構成と順序、長時間動くエージェントで使う圧縮・メモ・サブエージェントといった手法までをまとめます。

ニュース・動向

NVIDIAとHugging Faceが「LeRobot」を強化｜オープンなロボット基盤モデルGR00T N1.7

NVIDIAとHugging Faceが2026年7月に発表した、オープンソースのロボット学習基盤「LeRobot」への大型統合を整理します。オープンで商用利用可能なVLAモデル「Isaac GR00T N1.7」、データ収集フレームIsaac Teleop、そしてソフトウェア中心のLLMエンジニアがフィジカルAIをどう捉えるべきかを、事実ベースで読み解きます。