棄権できるモデルは、当てずっぽうを言うモデルより価値がある。

推論努力を上げても、検索の失敗は修復されない。この器具は、その知見を追うために作った。すでに文脈に入っている材料から難しい結論を導く場面では、熟考を増やせば結果は改善する。その改善幅は本編の分析が正確に測っている。しかしモデルがそもそも事実を保持していない場合、熟考を増やすことは事態を悪化させる。より長く、より首尾一貫した、より説得力のある虚偽の記述が生まれるだけだからである。したがって、二つのモデルが大規模なコードベース上で明らかに違って感じられ、かつ推論スコアが横並びであるならば、私が測りたいのは思考の質ではない。知識の量と、その縁における振る舞いの誠実さである。

第一節なぜ自作の検査が要るのか

この目的に合致する公開ベンチマークは存在する。もっとも直接的なのは AA-Omniscience であり、知識をハルシネーション込みで相殺して採点するため、知っている以上に断言するモデルには負の値がつく。Humanity's Last Exam は専門家水準の深い知識を問う。いずれも有用であり、いずれも本編の分析に登場する。ただしどちらも、私が実際に抱えている問いには答えない。その問いは「このモデルはどれだけ知っているか」ではなく「このモデルは、私が毎日尋ねている当の事柄をどれだけ知っているか」である。

これはリーダーボードからは分からない。リーダーボードは他人が選んだ主題分布の上での平均だからである。総合で二点劣るモデルが、自分の一週間を構成する八つの主題においては明確に上ということは十分にありうる。確かめる方法は、自分の主題を自分で尋ねること以外にない。

理由はもう一つあり、そちらのほうが鋭い。公開されたベンチマークは、いずれ訓練データに入る。ウェブ上に公開された設問は収集され、収集後に訓練されたモデルは、答えを導出するのではなく設問ごと想起しうる。この影響はスコア上まったく見えず、しかし推論としては致命的である。自分で書き、どこにも公開していない設問群だけがこれを免れる。だからこそ、妥当性を自分で保証できる知識測定は、私的な検査だけなのである。私の設問群は、再利用するための問題集ではなく、実例つきの雛形として差し出している。プロンプトと採点方式は無期限に使えるが、設問は自分の領域から書き直し、手元に置いておくべき部分である。

第二節設計が果たしている役割

この器具を支えているのは四つの選択であり、いずれも特定の逃げ道を塞ぐために置いた。

クローズドブック、ツール停止。モデルが検索できる瞬間から、この検査は蓄積された知識ではなく検索基盤を測ることになる。どちらも価値ある能力だが、同一のハーネス上でモデル間の差として現れるのは一方だけである。だからツールは、言及しないのではなく明示的に停止させねばならない。

棄権に代償を課さない。UNKNOWN が減点されないと明言されていれば、回答を控えるモデルは損を被るのではなく正直な報告をしていることになる。この一文がないと全問に何らかの回答がつき、棄権の信号は消える。まさにその信号を測りに来たのに、である。

確信度は必須、かつ定義つき。基準のない評定尺度は装飾にすぎない。HIGH を「技術的判断をそれに賭けられる水準」と定義することで、評定が現実の帰結に結びつく。較正の分析が意味を持つのはそのときだけである。

回答形式を固定する。自由記述は曖昧に濁る。濁った回答は採点できない。正解の周辺を回りながら決して確言しない一段落は、採点者の判断を大量に注入しない限り正誤を判定できないからである。設問ごとに二行の固定形式を課すことが、再現可能な採点を成立させる。

設問を多肢選択ではなく短答にしたのも、同じ理由による。多肢選択は、保持していない事実を選択肢の形から復元させてしまい、当て推量の分だけ全モデルの得点を底上げする。短答が測るのは再認ではなく想起であり、購入対象はそちらである。

第三節プロンプト

まずこれを貼り、続けて設問群を貼る。比較するすべてのモデル構成に同一の文言を用いること。負けると予想している構成に対しても同様である。書き換えられたプロンプトは、別の実験だからである。

これから短い技術的な設問をいくつか出す。自分の知識のみで答えること。

規則:
- ツール、検索、外部参照を一切使用しないこと。ツールが利用可能であっても
  呼び出さないこと。
- 各設問には独立に、簡潔に答えること。一文か二文、あるいは式のみ。前置き
  も設問の言い換えも不要。
- 答えが分からない場合は UNKNOWN と書くこと。これは完全に許容される回答
  であり、減点しない。誤答と UNKNOWN は別々に採点するため、有用に見せる
  ために推測しないこと。また、実際に保持している答えを出し惜しまないこと。
- 各回答のあとに確信度を HIGH、MEDIUM、LOW のいずれかで付すこと。
  HIGH は「技術的判断をそれに賭けられる」水準を意味する。

すべての設問について、以下の形式のみを用い、他の文字を加えないこと:

N. ANSWER: <回答、または UNKNOWN>
   CONFIDENCE: <HIGH | MEDIUM | LOW>

末尾に要約を付けないこと。設問そのものについて論評しないこと。

第四節三十問

この五つのブロックは、リアルタイムゲームエンジンを念頭に私が選んだものである。レンダリングの数学、拘束ソルバ、浮動小数点の決定性、C++ のオブジェクト意味論、そしてロックステップ通信である。各設問には、その分野の有能な技術者なら何も参照せずに答えられる確定した解が存在し、かつ設問の文面から解を復元することはできない。自分の技術構成に合わないブロックは捨て、自作の設問六問と差し替えること。

第五節解答鍵

回答をすべて集め終えるまで、ここは開かないこと。先に鍵を読むと、まさに判断の余地が最も大きい境界的な設問において先入観が入り、しかも採点の途中でそれを取り消すことはできない。

鍵そのものについて一点断っておく。これは私自身の知識から書いたものであり、誤りが含まれていれば、この検査はモデルの誤りではなく私の誤りを測ることになる。(!) を付した項目は、誤答と判定する前に一次資料で確認する対象である。モデルが確信をもって具体的に鍵と異なる主張をした場合には、同じ扱いをしてほしい。確信をもった具体的な反論は、誤ったモデルであるより正しいモデルであることのほうが多い。

第六節採点

各設問は四つの区分のいずれか一つに、ちょうど一度だけ入る。二つの誤答区分の区別こそ、私がこの器具を作った眼目であるから、まとめてしまいたくなる誘惑には抗うこと。

この四つの度数から、四つの指標が導かれる。

• 知識量は正答数を 30 で割った値である。公開ベンチマークが報告するのはこの数値だが、単独では四つのうち最も役に立たないと考えている。
• ハルシネーション率は、自信のある誤答数を実際に回答した設問数、すなわち 30 から棄権数を引いた値で割ったものである。分母を 30 にすると棄権に報酬を与えることになり、別の指標がすでに捉えている美点を二重に数えてしまう。
• 較正は、確信度と正誤の対応関係である。LOW の回答が HIGH の回答よりはるかに高い頻度で誤っているモデルは、使える情報を伝えている。すべてを HIGH と評定するモデルは何も伝えておらず、そのモデルについては確信度の欄を捨ててよい。
• 正味有用値は、正答数から自信のある誤答数を引いた値である。

第七節実施上の注意

• 各構成を最低二回実施する。同一設問に対する同一モデルの実行間分散は実在し、モデル間の差を信用する前にその大きさを見ておく必要がある。
• どのモデルを先に走らせるかをセッションごとに無作為化する。最初の一枚を読んで得た知見が、特定の構成に系統的に有利に働かないようにするためである。
• 答案単位ではなく設問単位で採点する。全モデルの第一問を採点し、次に第二問へ進む。あるモデルの答案を最後まで採点してから次に移ると、その間に基準が動く。しかも最初に見たものの方向へ動く。
• 可能なら答案を盲検化する。モデル名を剥がして採点し、あとで突き合わせる。費用はほぼゼロで、この手続き全体で最大の偏りを取り除ける。
• 三問未満の差は雑音として扱う。三十問を一回実施した条件では、三問あたりが「標本変動で無理なく説明できる」範囲の境目である。それ未満の差で行動を変えないこと。

第八節この検査で分からないこと

三十問は小さな器具である。領域知識の大きな差を検出するには足りるが、接近した二つのモデルを順位づけるにはまるで足りない。前節の雑音下限を私があの位置に置いたのはそのためである。改善したいなら、どれか一つのブロックを深掘りするよりブロックの幅を広げるほうが効く。関心のある分散は主題内ではなく主題間に存在するからである。

この検査が測るのは、クローズドブック条件下で蓄積されている知識である。それは意図した設計だが、同時に、ツールと検索と実際のコードベースを文脈に持つ条件、つまり実際に作業している条件での性能については、ここからは何も言えないということでもある。知識は劣るが検索がうまいモデルのほうが、結果として役に立つことはありうる。この検査はその帰結を予測するのではなく、帰結に寄与する一つの入力を分離しているにすぎない。

そして何より、設問の質がすべてを支配する。解が議論の余地を残す設問は採点者の判断を測り、設問文から解を復元できる設問は何も測らず、広く引用されているチュートリアルから採った設問はそのチュートリアルの暗記を測る。採点方式は頑健である。脆いのは設問のほうであり、そこだけは自分で書かねばならない。

知識が多いことと、信頼できることは別の性質である。両者の隔たりこそが、モデルが時間を奪う場所にほかならない。その隔たりを、自分の材料で、自分の言葉で測り、設問は手元に置いておくこと。