Risk-Controlled Selective LLM Answering by Pricing Label-Free Checks
Abstractの概要
本論文は、明示的なリスク制御下におけるLLMの選択的回答を研究し、回答を提供すべきか棄権すべきかを判断する方法に焦点を当てています。再解決や逆方向プロービングといったラベルフリーのチェックを、正解および不正解に対する一致率と実行コストによって表現するPriceCheckを提案します。これらの適合された価格はカスケードや適応的停止ルールを含む少数のスケジュールファミリへと合成され、キャリブレーションテストにより指定された選択的リスク目標を満たすスケジュールが選択されます。評価は、5つのファインチューニング済み生成器による数学回答の固定プールを用い、共通の認証プロトコルの下で複数の検証器ベースラインと比較して実施されました。
新規性
特徴的なアイデアは、ラベルフリーの検証チェックを完全性・リーク・コストで特徴付けられる価格付きアクションとして扱い、認証前に選択的回答スケジュールへと合成する点にあります。単一の検証器スコアやランキング品質に依存するのではなく、有限ファミリのリスク制御フレームワークの下で、チェックの順序付け、組み合わせ、停止方法を明示的に最適化します。
成果
主要な1.5%の選択的リスク目標において、選択されたPriceCheckのスケジュールは平均で76.1%の回答を提供し、15個の全分割でホールドアウトの選択的リスクを目標未満に抑えました。共通プロトコル下において、報酬モデルやプロンプト指示による判定器、生成器の確信度、訓練済み正誤分類器よりも同一目標で多くの回答を提供し、同等カバレッジにおいて誤答の残存数が最も少数でした。118の診断スケジュール全体で、価格に基づくカバレッジ予測は観測されたカバレッジと0.97の順位相関を達成しました。
論文の注目点
- PriceCheckは、正解時の一致率、不正解時の一致率、実行コストを用いて各ラベルフリーチェックをモデル化し、これらから選択的回答スケジュールを構築する。
- 単一のスカラー検証器スコアのみに依存するのではなく、固定スケジュールファミリに対するキャリブレーション時の認証を用いて指定された選択的リスク目標を達成する。
- 数学の回答選択において複数のベースラインを上回る認証済みカバレッジとリスクのトレードオフを達成し、大規模な診断セット全体でスケジュールのカバレッジを正確に順位付けできることを実証した。