Likelihood Ranking doesn't Scale Like Prompting in LLMs
Abstractの概要
本論文では、大規模言語モデルにおける多肢選択式質問応答の2つの評価プロトコルとして、直接的なプロンプトによる回答と、同一の質問・回答ペアから導出された平叙文の尤度ランキングを比較しています。本研究は、10個の多肢選択式データセットにわたり0.1Bから104Bパラメータのオープンウェイトなデコーダ専用モデル95種を網羅し、プロンプト実行精度（APX）とパープレキシティスコア精度（APS）を測定しました。その結果、プロンプトによる回答はモデル規模や指示チューニングに伴い急激に向上する一方で、平叙文の尤度ランキングは緩やかにしか向上せず狭い範囲にとどまるという、2つのプロトコル間の系統的な乖離が観察されました。この知見は、プロンプト評価が単に基礎的な尤度選好の鋭さを示すだけでなく、学習されたタスク条件付きの回答選択ポリシーを反映していることを示唆しています。
新規性
本研究は、タスク条件付きの回答選択インターフェースを排除し、標準的な多肢選択式尤度スコアリングの補完的な代替手段として平叙文の尤度ランキングを導入・評価しています。大規模な実験を通じて、平叙文に対する尤度ベースのランキングが、プロンプトによる回答選択と同様のスケーリング軌跡を示さないことを明らかにしました。
成果
APSはデータセットやモデルファミリー全体で弱いスケーリング挙動を示し、指示チューニングによる向上もわずかであったのに対し、APXは規模に応じて急激に向上し、最終的にはAPSを大幅に上回りました。指示チューニング済みモデルはベースモデルよりも少ないパラメータ数でプロンプト評価の損益分岐点に達する一方、標準的な質問条件付き尤度による多肢選択式評価はプロンプト回答と同様にスケーリングすることが示されました。
論文の注目点
- 10個の多肢選択式データセットにわたり95種類のオープンウェイト・デコーダ専用モデルを評価し、プロンプト回答（APX）と平叙文尤度ランキング（APS）を対比した。
- 平叙文の尤度精度はモデル規模全体で弱くしかスケーリングしないのに対し、プロンプト精度は急速に向上し指示チューニングから大きな恩恵を受ける。
- この乖離は、統制された平叙文に対する尤度選好とタスク条件付き回答選択が、互換性のない異なる評価シグナルを捉えていることを示している。