論文の概要: Accuracy and Order Sensitivity Diverge Under Label-Free Strategies

• arxiv url: http://arxiv.org/abs/2608.11947v1
• Date: Wed, 12 Aug 2026 11:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.564269
• Title: Accuracy and Order Sensitivity Diverge Under Label-Free Strategies
• Title（参考訳）: ラベルフリー戦略における精度と順序感度の多様性
• Abstract要約: 複数選択ベンチマークは、大きな言語モデルを評価するために広く使われている。 複数の選択は、選択順序に対する感度で知識を分割する。 本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を除去するかどうかを検証する。
• 参考スコア（独自算出の注目度）: 4.127762845164668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple-choice benchmarks are widely used to evaluate large language models, but MCQ scores conflate knowledge with sensitivity to option order, which makes them unreliable measures of model knowledge. In this paper, we test whether preventing a model from seeing option labels while committing to an answer removes positional influence and, in turn, improves performance. We evaluate two different strategies for mitigating bias. The first uses a generation-then-matching approach, and the second scores options in isolation, which is positionally unbiased by construction. Neither reliably improves accuracy. A complete decomposition shows that the bottleneck is withholding options, not the matching step. The only configuration that consistently matches the baseline is the one that shows the model all options paired with an LLM matcher. However, eliminating positional influence entirely still does not reliably yield accuracy gains, while cyclic permutation often improves them. For two-stage prompting, an aggregate measure of recall imbalance and a direct per-question measure of order sensitivity both fail to show reliable debiasing.
• Abstract（参考訳）: 複数選択ベンチマークは大規模言語モデルの評価に広く用いられているが、MCQはオプション順に対する感度で知識を詳述し、モデル知識の信頼性を損なう。 本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を排除し,性能を向上させるかどうかを検証する。 偏見を緩和するための2つの異なる戦略を評価する。 第1は世代間マッチングのアプローチを使用し、第2は独立して選択をスコアし、これは建設によって位置的にバイアスを受けない。 どちらも正確性は向上しない。 完全な分解は、ボトルネックが一致するステップではなくオプションを控えていることを示している。 ベースラインに一貫してマッチする唯一の構成は、LLM整形器と組み合わせた全てのオプションのモデルを示すものである。 しかし、位置の影響を完全に排除しても精度は向上しないが、周期的な置換はそれらを改善することがしばしばある。 2段階のプロンプトでは、リコール不均衡の総合測度と順序感度の直接的パークエクション測度はどちらも信頼性のある偏りを示すことができない。

関連論文リスト

• Consistency Without Alignment: Item-Sensitive Language Models Indistinguishable From Random [0.0]
  項目感度は、モデルの選択が自身の出力よりも特定の入力に依存するかどうかとして定義され、タスク能力の証拠として広く報告されている。 この証拠は、香港のボードゲーム『Deception: Murder: Hong Kong』から抜粋された強制選択シグナリングタスクを用いて、必要だが不十分であることを示す。 7つの言語モデル、2つのモデルファミリー、訓練後のアブレーション、3つの独立したスコアリングルールは、21のモデル・バイ・ルール・セルのうちの1つが確実にアイテムに敏感である。 我々はこの一貫性をアライメントなしで呼び、アイテム感度、置換整合性に依存するあらゆる評価に一般化する。
  論文  参考訳（メタデータ） (2026-09-01T02:12:10Z)
• Learning When to Trust via Selective Context Preference Optimization [34.54211638111961]
  言語モデルは次第に外部の信号に答えを条件付けている。 誤解を招く人は正しい答えを間違えることがある。 私たちはその問題を選択的信頼と再考した。
  論文  参考訳（メタデータ） (2026-08-06T17:59:58Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
  大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。 LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
  論文  参考訳（メタデータ） (2025-11-17T21:31:37Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs [16.357595595062946]
  植民地の後に空間をトークン化する方法には合意がないが、しばしば自明な選択として見過ごされる。 驚いたことに、私たちは1つの特定の戦略 -- 回答のレターとともにスペースをトークン化する -- を推奨できます。 本研究は、注意深い評価設計の重要性を強調し、標準化された透明な評価プロトコルの必要性を強調した。
  論文  参考訳（メタデータ） (2025-09-18T14:47:58Z)
• SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models [0.27309692684728604]
  大規模言語モデル(LLM)は、選択肢の位置やラベルに固有のバイアスを生かして、複数の選択タスクの膨らませたスコアを達成できる。 本研究では,データセットに依存しない方法で選択バイアスを計測・緩和するSCOPEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T08:28:17Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Consensus-Guided Correspondence Denoising [67.35345850146393]
  本稿では,地域間コンセンサス学習フレームワークと対応関係を異色化し,対応関係をロバストに識別する。 ローカル地域からグローバル地域への動的グラフから推定されるコンセンサススコアに基づいて,信頼度の高い候補を初期マッチングから蒸留する新しい「プルーニング」ブロックを導入した。 本手法は、堅牢なラインフィッティング、ワイドベースライン画像マッチング、画像ローカリゼーションベンチマークを顕著なマージンで上回る。
  論文  参考訳（メタデータ） (2021-01-03T09:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。