情報量に飲まれない学習設計 — RAG/LLMチューニングを"深く3つ"に絞り、測るまでを1単位にする

はじめに

この分野は、学ぶべきツールと手法が多すぎる。評価、検索、リランク、ファインチューニング、可観測性——それぞれに定番ライブラリが何本もあり、毎週のように新しい名前が流れてくる。全部を追えば、どれも中途半端に終わる。だから学ぶ前に、何を捨てて何を深掘るかを先に設計した。この記事は、その学習ロードマップそのものの設計記録だ。

題材は、個人で運用している RAG（過去の記録を意味で検索して引き出す、外付けの長期記憶のような仕組み）だ。RAG そのものの前提は、この記事へ譲る。

AI に5回訂正された夜 — 個人 RAG を5年付き合える相棒にする設計思想

この記事は、「壊れないRAG」「汚れないRAG」と対になる、**「測れるRAG」**の話でもある。壊れず汚れない土台の上で、では自分の技能をどう測って伸ばすか——その設計だ。要点を先に置く。

ツールを広く浅く触らない。深く3つ（評価・検索・ファインチューニング）に絞り、残りは「知るだけ」に留める
「読んだ」で終わらせない。自分の実データに接続して測るまでを、学習の最小単位とする
評価（測る手段）を最初に立てる。測れなければ、検索やファインチューニングの改善が「良くなった気がする」で終わるから

なぜ「深く3つ」に絞ったのか

いちばん避けたかったのは、20個のツールを浅く触って「一通り知っている」つもりになることだ。陥りやすい罠で、触った数だけ増えて、測れる腕は一つも増えない。

そこで、層ごとに定番ツールを並べ、自分がどこを持っていてどこが薄いかを棚卸しした。すると、埋めるべきは「ツールの数」ではなく、測る・比べる・データを作るという三つの薄い脚だと分かった。絞り込みはこうなった。

                     RAG/LLM チューニングの学習範囲
                              │
        ┌─────────┬───────────┼───────────┬─────────────┐
        ▼         ▼           ▼           ▼             ▼
     評価(E)    検索(R)     FT(F)     オーケスト     …その他多数
       │          │          │      レーション(O)   （浅く触らない）
    ═══╪══════════╪══════════╪═══        │
     深く掘る3本の柱（E→R→F）            知るだけ
       │                                  （過投資しない）
       └──▶ 各柱は「実データで測るまで」を1単位（次節）

深く掘るのは評価・検索・ファインチューニングの3本。オーケストレーション（複数の部品をつなぐ枠組み）は「読めて語れる」程度でよいと割り切った。理由は後述するが、その部分は既に自作で概念を持っているので、標準の枠組みは”翻訳”できれば足りるからだ。

保有と欠けの棚卸し（現在地マップ）

絞り込みの根拠にした棚卸しを、そのまま載せる。自己採点ではなく、「どの層に何があり、何が薄いか」を淡々と並べた設計用の地図だ。

層	標準ツール	自分の現状	厚み
評価	Ragas / DeepEval	関連度の判定器を自作（後述）	薄い（標準化・自動回帰が未）
可観測性	LangSmith / Langfuse	ログは自作、トレース基盤は未	薄い
検索・リランク	pgvector / 各種 reranker	ハイブリッド検索＋リランクを実運用	中核は保有（横比較が未）
つなぎ（O）	LangChain / LlamaIndex	独自に実装済み	概念は保有（標準語彙が未）
基盤・FT	QLoRA / LoRA	個人RAG向けに訓練・投入済	実物あり（データ設計と評価が薄い）

薄いのは三か所——(A) 測定の標準化・自動化、(B) 検索方式の横比較、(C) ファインチューニングのデータ設計。この三つを埋める順に、学習トラックを並べた。

学習の型 ― 「測るまで」を1単位にする

各トラックに共通の進め方を、先に一つの型として固定した。ここが設計の肝だ。

   ① 読む（公式Doc・概念）
        │
        ▼
   ② 自分の実データで動かす ◀─────────┐
        │   （トイデータ/チュートリアルで終えない）
        ▼                            │ 測れない＝まだ動かせていない
   ③ 測る（正解付きデータで数値を出す）─┘
        │   ここに到達して初めて「理解した」と称してよい
        ▼
   ④ 記事化（学びを固定＋ポートフォリオ）

「①読んだ」を「理解した」と呼ばない。③自分の実データで測るまで到達して初めて一単位が完了、とした。チュートリアルのサンプルデータで動いても、それは「動かせた」ではなく「なぞれた」に過ぎない。測って数字が出せなければ②に戻る、という戻りエッジを型に組み込んである。個人RAGの成功/失敗を「対応して成功するまで」を1セットで記録する規律と、同じ考え方だ。

なぜ評価を、いちばん最初に置くのか

三本の柱には順序を付けた。評価（E）→ 検索（R）→ ファインチューニング（F）。評価を先頭にしたのには、はっきりした理由がある。

測る物差しが無いまま検索を変えても、ファインチューニングをやり直しても、良し悪しは「なんとなく良くなった気がする」でしか言えない。実際、検索の改善は「測る」を先に立てたからこそ数字で語れた。ハイブリッド検索を入れて、肝心なときの想起率（recall）を 0.2 から 1.0 まで動かした——この「0.2→1.0」は物差しがあって初めて言える数字だ。その物差しの立て方はこの記事に書いた。

ベクトル検索だけのRAGは「肝心なときに思い出さない」— ハイブリッド検索＋測定で recall を 0.2→1.0 にした話

   E: 評価基盤（物差し）
        │  これが立たないと ↓ の良否が数字で言えない
   ┌────┴────┐
   ▼         ▼
   R: 検索    F: ファインチューニング
   （比べる）  （鍛える）

物差し無しの R や F は、賭けと変わらない。だから評価を最初に据えた。ここが今いちばん薄く、そして埋めれば残り全部の判断が数字に変わる、最大の投資対効果がある場所だ。

三本の柱の中身と、「知るだけ」のO

各トラックの「学ぶ概念／作る成果物／完了条件」を並べる。完了条件は、すべて数値や動く成果物で定義した。

柱	学ぶ概念（初出を噛み砕く）	作る成果物	完了条件
E 評価	Faithfulness（答えが根拠に忠実か＝作り話をしていないか）、文脈の再現率/適合率、LLM-as-judge（LLM自身に採点させる）、回帰テスト	正解付きデータ（golden set）に Ragas（評価用ライブラリ）を接続した評価の土台＋変更前後を自動比較する回帰スイート。Langfuse（自己ホストで動く、処理を可視化する基盤）でトレースを見える化	ハイブリッド検索の係数やリランクを替えたとき、良否を数値で判定できる
R 検索	密ベクトル（意味の近さで引く）/疎ベクトル（語の一致で引く）/ハイブリッド、reranker（取得結果を関連順に並べ直す器）、chunking（文書の刻み方）、クエリ変換	pgvector（Postgres上でベクトル検索する拡張）版の検索を実装し、既存版と同一データで横比較（想起率・適合率・速度）	「どちらの方式をなぜ選ぶか」を、測った数字で語れる
F ファインチューニング	データセット設計（多様性・リーク防止）、評価用の分割、LoRA/QLoRA（省メモリで微調整する手法）	データを意図して設計し直して再訓練し、訓練に使わないデータ（hold-out）で評価・比較	「なぜこのデータ構成か・精度がどう動いたか」を数字で説明できる