論文の概要: Large Language Models Systematically Favor Popular Options: Evidence and Mitigation Across MCQs

• arxiv url: http://arxiv.org/abs/2608.29257v1
• Date: Sat, 29 Aug 2026 13:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.90391
• Title: Large Language Models Systematically Favor Popular Options: Evidence and Mitigation Across MCQs
• Title（参考訳）: 一般的な選択肢を体系的に好む大規模言語モデル:MCQ間のエビデンスと緩和
• Abstract要約: 大規模言語モデル(LLM)を評価するための標準フォーマットとして、MCQ(Multiple-choice Question)がある。 現代のLSMは、あまり普及していない正しい選択肢よりも、体系的に人気があるが間違った選択肢を好んでいる。 textbfPopMCQは6つの制御戦略を持つベンチマークで、正しい回答を保ちながらオプションの人気を変動させる。 22個のオープンソースLCM(0.5Bから32Bパラメータ)の実験では、強い人気圧力下での精度は54.1ポイントまで向上した。
• 参考スコア（独自算出の注目度）: 22.00089422984433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiple-choice questions (MCQs) are a standard format for evaluating large language models (LLMs), yet the popularity of answer options can confound evaluation. Modern LLMs systematically prefer popular but incorrect options over less popular correct ones, a vulnerability we call \textbf{popularity bias}. This pattern aligns with confidence miscalibration: model confidence remains high even as accuracy collapses for popular options. To systematically isolate this phenomenon, we introduce \textbf{PopMCQ}, a benchmark with six controlled strategies that vary option popularity while keeping the correct answer fixed. In our most adversarial setting, where all distractors are more popular than the correct option, models choose popular but wrong answers 66\% of the time. To mitigate this bias, we propose \textbf{PopDebias}, a lightweight inference-time correction that estimates and removes a popularity prior from model predictions. It requires no fine-tuning, is label-free at test time (using only a small calibration split for parameter fitting), and adds negligible computational cost. Experiments on 22 open-source LLMs (0.5B to 32B parameters) show consistent improvements, with accuracy gains up to 54.1 percentage points under strong popularity pressure. The code and data are available https://github.com/DataScienceUIBK/PopMCQ
• Abstract（参考訳）: 複数選択質問 (MCQ) は大規模言語モデル (LLM) を評価するための標準フォーマットであるが、解答オプションの人気は相反する可能性がある。 現代のLSMは、あまり普及していない正しい選択肢よりも、体系的に人気があるが誤った選択肢を好んでいる。 一般的なオプションの精度が低下しても、モデルの信頼性は高いままです。 この現象を系統的に分離するために,正解を保ちながらオプション人気を変動させる6つの制御戦略を持つベンチマークである \textbf{PopMCQ} を導入する。 最も敵対的な設定では、すべての気晴らしが正しい選択肢よりも人気があるので、モデルは人気があるが間違った答えを66%の確率で選ぶ。 このバイアスを軽減するために,モデル予測に先立って人気を推定・除去する軽量な推測時間補正である「textbf{PopDebias}」を提案する。 微調整は不要で、テスト時にはラベルなし(パラメータフィッティングに小さなキャリブレーションスプリットを使用)、計算コストは無視できる。 22個のオープンソースLCM(0.5Bから32Bパラメータ)の実験では、強い人気圧力下での精度は54.1ポイントまで向上した。 コードとデータはhttps://github.com/DataScienceUIBK/PopMCQで入手できる。

関連論文リスト

• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Response Time Enhances Alignment with Heterogeneous Preferences [49.69696266152175]
  簡易な二次信号で選好データセットを増大させることで、住民の平均選好の識別性を回復できることを示す。 私たちの結果は、将来的なデータ収集パイプラインに約束と新たな機会をもたらします。
  論文  参考訳（メタデータ） (2026-05-07T22:05:23Z)
• Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics [25.374192139098284]
  マルチモーダル評価において,システム障害モードとしての原形質バイアスについて検討する。 我々は、動物、オブジェクト、デモグラフィー画像にまたがる対照ベンチマークProtoBiasを導入する。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されているメトリクスが,これらのペアを誤用していることが判明した。 本稿では, 故障率を大幅に低減し, 誤判定を抑える, 頑健な7BパラメータであるProtoScoreを提案する。
  論文  参考訳（メタデータ） (2026-01-08T13:49:14Z)
• Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach [13.829059542429876]
  大規模言語モデル(LLM)の性能評価手法として,MCQ (Multiple Choice Questioning) が広く用いられている。 LLMはMCQタスクにおいて選択バイアスを示し、その選択は内容よりも答えの位置やオプション記号などの要因に影響される。
  論文  参考訳（メタデータ） (2025-11-17T21:31:37Z)
• SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models [0.27309692684728604]
  大規模言語モデル(LLM)は、選択肢の位置やラベルに固有のバイアスを生かして、複数の選択タスクの膨らませたスコアを達成できる。 本研究では,データセットに依存しない方法で選択バイアスを計測・緩和するSCOPEを提案する。
  論文  参考訳（メタデータ） (2025-07-24T08:28:17Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Towards Popularity-Aware Recommendation: A Multi-Behavior Enhanced Framework with Orthogonality Constraint [4.137753517504481]
  Top-K$レコメンデーションは、潜伏したユーザの好みを推測し、パーソナライズされたレコメンデーションを生成する。 マルチビヘイビアのtextbfSide textbfInformation を統合した textbfPopularity-aware top-$K$レコメンデーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-26T11:06:49Z)
• From Lists to Emojis: How Format Bias Affects Model Alignment [67.08430328350327]
  人的フィードバックからの強化学習における形式バイアスについて検討する。 人間の評価者を含む多くの広く使われている嗜好モデルは、特定のフォーマットパターンに対して強いバイアスを示す。 バイアスデータが少ないと、報酬モデルにかなりのバイアスを注入できることを示す。
  論文  参考訳（メタデータ） (2024-09-18T05:13:18Z)
• Robust Collaborative Filtering to Popularity Distribution Shift [56.78171423428719]
  本稿では,テストデータに仮定することなく,インタラクションワイドな人気ショートカットを定量化し,削減する,シンプルで効果的なデバイアス対策であるPopGoを提案する。 IDとOODの両方のテストセットにおいて、PopGoは最先端のデバイアス戦略よりも大幅に向上している。
  論文  参考訳（メタデータ） (2023-10-16T04:20:52Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Test Time Embedding Normalization for Popularity Bias Mitigation [6.145760252113906]
  人気バイアスはレコメンデーションシステムの分野で広く問題となっている。 本稿では,人気バイアスを軽減するための簡易かつ効果的な戦略として,'Test Time Embedding Normalization'を提案する。
  論文  参考訳（メタデータ） (2023-08-22T08:57:44Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。