論文の概要: One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

• arxiv url: http://arxiv.org/abs/2610.20993v1
• Date: Wed, 14 Oct 2026 22:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.097888
• Title: One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation
• Title（参考訳）: バイアススコアと2つの要因:多項目評価におけるオプションバイアスの影響
• Abstract要約: 複数選択の選択肢の並べ替えは、モデルの回答、選択バイアス(特定のオプション文字の好み)、順序感受性(オプション注文の回答の変化)として研究される効果を変更できる。 これらの視点をプール化された選択レート標準偏差(プールSD)を通じて接続し、質問や注文で不均一にオプションの文字が選択されるかを測定する。 各質問の全てのオプションが各位置に等しく現れるとき、プールされたSDはちょうど2つのラベルのない因子(フリップ率と位置スキュー)の積である。
• 参考スコア（独自算出の注目度）: 12.219593022177028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reordering multiple-choice options can change a model's answer, an effect studied as selection bias (a preference for certain option letters) and as order sensitivity (changes in answers across option orderings). We connect these perspectives through the pooled selection-rate standard deviation (pooled SD), which measures how unevenly option letters are selected across questions and orderings. When every option of each question appears equally often at each position, the pooled SD is exactly the product of two label-free factors: the flip rate and the positional skew. The flip rate is the fraction of questions whose chosen option changes across orderings; the positional skew is the standard deviation of option-letter selection rates among those questions. Across 41 checkpoints and 12 benchmarks, the flip rate tracks accuracy and output uncertainty, while the positional skew tracks the estimated option-symbol prior. Prior correction for selection bias mainly reduces the positional skew. Aggregating each ordering with its reversal, a mitigation for order sensitivity, mainly reduces the flip rate. Both reduce the range of accuracy across correct-answer letters by similar amounts, but aggregation leaves fewer model-rank reversals. Applying prior correction before aggregation reduces both factors and further narrows this accuracy range. However, aggregation lowers the flip rate partly by settling questions on the same wrong option. We therefore recommend reporting both factors to distinguish mitigation effects, alongside accuracy to distinguish stability from correctness.
• Abstract（参考訳）: 複数選択の選択肢の並べ替えは、モデルの回答、選択バイアス(特定のオプション文字の好み)、順序感度(オプション順の回答の変更)として研究される効果を変更できる。 これらの視点をプールされた選択レート標準偏差(プールSD)を通じて接続し、質問や注文で不均一にオプションの文字が選択されるかを測定する。 各質問の全てのオプションが各位置に等しく現れるとき、プールされたSDはちょうど2つのラベルのない因子(フリップ率と位置スキュー)の積である。 フリップ率(英: flip rate)は、順序によって選択された選択肢が変化する質問のごく一部であり、位置スキューは、これらの質問のオプションレター選択率の標準偏差である。 41のチェックポイントと12のベンチマークで、フリップレートは精度と出力の不確実性をトラッキングし、位置スキューは推定されたオプションシンボルをトラックする。 選択バイアスの事前補正は、主に位置スキューを減少させる。 それぞれの順序を逆転で集約することで、順序感受性を緩和し、主にフリップレートを減少させる。 どちらも、正解文字間の精度の範囲を同様の量で減少させるが、アグリゲーションはモデルランクの逆転を少なくする。 集約の前に事前の修正を適用することで、両方の要因を減らし、この精度範囲をさらに狭める。 しかし、アグリゲーションは同じ間違った選択肢で疑問を定め、フリップ率を下げる。 そこで我々は,安定性と正しさを区別する精度とともに,緩和効果を区別する要因を双方に報告することを推奨する。

関連論文リスト

• Accuracy and Order Sensitivity Diverge Under Label-Free Strategies [4.127762845164668]
  複数選択ベンチマークは、大きな言語モデルを評価するために広く使われている。 複数の選択は、選択順序に対する感度で知識を分割する。 本稿では,モデルが回答をコミットしながらオプションラベルを見るのを防ぐことが,位置の影響を除去するかどうかを検証する。
  論文  参考訳（メタデータ） (2026-08-12T11:34:45Z)
• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
  大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。 LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
  論文  参考訳（メタデータ） (2025-11-17T21:31:37Z)
• Positional Bias in Binary Question Answering: How Uncertainty Shapes Model Preferences [8.389558188293641]
  回答の不確実性の度合いの異なる5つの大言語モデルにおける位置バイアスの定量化と解析を行う。 低不確実性条件下では位置バイアスがほとんど存在しないが、どの選択肢が正しいか判断しにくいと指数関数的に増加する。
  論文  参考訳（メタデータ） (2025-06-30T11:30:23Z)
• Mitigating Selection Bias with Node Pruning and Auxiliary Options [11.835002896308545]
  大規模言語モデル(LLM)は、複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 選択バイアスに寄与するパラメータを抽出するBias Node Pruning(BNP)と、ホワイトボックスとブラックボックスの設定の両方でバイアスを減らすためのAuxiliary Option Injection(AOI)の2つの方法を紹介する。
  論文  参考訳（メタデータ） (2024-09-27T15:53:54Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。