論文の概要: A decodability criterion predicts when hidden-state selection beats majority voting in large language models
- arxiv url: http://arxiv.org/abs/2608.17124v1
- Date: Mon, 17 Aug 2026 21:02:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.130379
- Title: A decodability criterion predicts when hidden-state selection beats majority voting in large language models
- Title（参考訳）: 隠蔽状態の選択が大言語モデルにおける多数決に勝ったときの可除性基準
- Abstract要約: 本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。
その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
- 参考スコア（独自算出の注目度）: 10.860308169044679
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Combining the answers a large language model (LLM) samples for a question into one decision is a test-time information fusion problem, usually solved by majority voting. Voting is unreliable on difficult questions, where the sampled answers share correlated errors, so the wrong answer can win and drawing more samples makes the decision worse. Selecting a candidate by reading a correctness signal from the model's hidden states is a promising alternative, but its accuracy varies across models and tasks, and no measure indicates when it can be trusted. In this paper, we propose CASE (Correctness-Axis SElection), a dynamic selection combiner that trains a linear gate on the answer-token hidden state and selects the highest-scoring candidate. Its main contribution is decodability, a leakage-free measure of how well the gate ranks a question's correct candidates above its incorrect ones, which predicts whether hidden-state selection will outperform voting. A conventional probe appears accurate only because of question-identity leakage, which vanishes under question-grouped evaluation. On held-out data, decodability predicts the accuracy gain of selection over voting with a Pearson correlation r=0.75 and a decision threshold near AUC=0.60. Across general and medical LLMs, CASE improves over voting by up to 19 points on medium-difficulty questions and 16.8 points on hard questions. Decodability depends on the aligned knowledge a model must recall, not on its scale, and its prediction transfers to an unseen scientific domain within 3.8 points. It thus provides a practical criterion, measurable in advance for a given model and task, for choosing between learned selection and majority voting.
- Abstract（参考訳）: 大きな言語モデル(LLM)の回答を1つの決定にまとめると、テスト時の情報融合の問題であり、通常は多数決によって解決される。
投票は難しい質問では信頼できないが、サンプルされた回答が相関するエラーを共有するため、間違った回答が勝利し、より多くのサンプルを描画することで、決定が悪化する。
モデルの隠れ状態から正当性信号を読み取って候補を選択することは有望な方法であるが、その正確性はモデルやタスクによって異なり、いつ信頼できるかを示す指標は存在しない。
本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択コンバインダCASE(CASE)を提案する。
その主な貢献は陰極性(deodability)であり、これはゲートが質問の正しい候補をその不正な候補よりも正確にランク付けし、隠れた状態の選択が投票を上回るかどうかを予測する、漏れのない尺度である。
従来のプローブは,質問グループ評価で消失する質問同一性漏洩のためのみ正確である。
ホールドアウトデータでは、ペロダビリティはピアソン相関r=0.75とAUC=0.60近傍の判定しきい値との投票よりも選択の精度向上を予測する。
一般および医療のLLM全体で、CASEは、中級の難問で19点、難問で16.8点に改善されている。
決定可能性(Deodability)は、モデルがそのスケールではなく、参照しなければならない整列した知識に依存し、その予測は3.8ポイント以内の未知の科学領域に転送される。
これにより、学習された選択と多数決のどちらを選択するかという、与えられたモデルとタスクに対して事前に測定可能な実践的な基準が提供される。
関連論文リスト
- Candidate supply and answer selection shape the value of LLM judging in multi-agent systems [4.178517265499193]
正しい答えは、しばしば生成された候補の中に存在しているが、システムは依然として収束し、間違った答えを報告することができる。
筆者らは,(1) LLM判事がマルチエージェントシステムで生成した候補に対して,回答正解の信号を供給することによって,効果的な選択圧を与える場合,(2)その信号を用いることで回答が向上する場合の2つの質問について検討した。
論文 参考訳（メタデータ） (2026-08-26T15:52:20Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Boosting Self-Consistency with Ranking [56.38798757709555]
自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。
この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
論文 参考訳（メタデータ） (2026-06-03T16:12:30Z) - Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。
LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
論文 参考訳（メタデータ） (2025-11-17T21:31:37Z) - New Bounds on the Accuracy of Majority Voting for Multi-Class
Classification [5.95012663623095]
一般的な多クラス分類問題に対するMVFの精度は未だ不明である。
一定の条件下では、MVFの誤差率は、独立投票者の数が増えるにつれて指数関数的にゼロに低下する。
次に、真理発見アルゴリズムの精度について論じる。
論文 参考訳（メタデータ） (2023-09-18T08:16:41Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳（メタデータ） (2023-06-19T18:48:15Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for
Answer Selection [59.95429407899612]
そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。
我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。
我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
論文 参考訳（メタデータ） (2020-10-10T10:36:58Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。