論文の概要: Positional Bias in Binary Question Answering: How Uncertainty Shapes Model Preferences

• arxiv url: http://arxiv.org/abs/2506.23743v1
• Date: Mon, 30 Jun 2025 11:30:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.034787
• Title: Positional Bias in Binary Question Answering: How Uncertainty Shapes Model Preferences
• Title（参考訳）: 両質問回答における位置バイアス:不確かさがモデル設定に及ぼす影響
• Authors: Tiziano Labruna, Simone Gallo, Giovanni Da San Martino,
• Abstract要約: 回答の不確実性の度合いの異なる5つの大言語モデルにおける位置バイアスの定量化と解析を行う。 低不確実性条件下では位置バイアスがほとんど存在しないが、どの選択肢が正しいか判断しにくいと指数関数的に増加する。
• 参考スコア（独自算出の注目度）: 8.389558188293641
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Positional bias in binary question answering occurs when a model systematically favors one choice over another based solely on the ordering of presented options. In this study, we quantify and analyze positional bias across five large language models under varying degrees of answer uncertainty. We re-adapted the SQuAD-it dataset by adding an extra incorrect answer option and then created multiple versions with progressively less context and more out-of-context answers, yielding datasets that range from low to high uncertainty. Additionally, we evaluate two naturally higher-uncertainty benchmarks: (1) WebGPT - question pairs with unequal human-assigned quality scores, and (2) Winning Arguments - where models predict the more persuasive argument in Reddit's r/ChangeMyView exchanges. Across each dataset, the order of the "correct" (or higher-quality/persuasive) option is systematically flipped (first placed in position 1, then in position 2) to compute both Preference Fairness and Position Consistency. We observe that positional bias is nearly absent under low-uncertainty conditions, but grows exponentially when it becomes doubtful to decide which option is correct.
• Abstract（参考訳）: 二元質問応答における位置バイアスは、モデルが提示された選択肢の順序のみに基づいて、ある選択を体系的に他の選択肢よりも好むときに発生する。 本研究では,5つの大言語モデルにおいて,解答の不確実性の度合いの異なる位置バイアスを定量化し,解析する。 追加の誤った回答オプションを追加してSQuAD-itデータセットを再適応し、徐々にコンテキストが減り、コンテキスト外回答がより多くなった複数のバージョンを作成し、低から高い不確実性の範囲のデータセットを生成しました。 さらに,(1) WebGPT – 不平等な品質スコアを持つ質問ペア,(2) Winning Arguments – Redditのr/ChangeMyView交換におけるより説得力のある議論を予測する。 各データセット全体で、正しい(または高品質/説得性)オプションの順序は、最初に位置1に置かれる)体系的にフリップされる。 2) 優先公平性と位置整合性を両立させる。 低不確実性条件下では位置バイアスがほとんど存在しないが、どの選択肢が正しいか判断しにくいと指数関数的に増加する。

関連論文リスト

• Mitigating Selection Bias with Node Pruning and Auxiliary Options [11.835002896308545]
  大規模言語モデル(LLM)は、複数の質問に応答するときに、特定の回答の選択を体系的に選好することが多い。 このバイアスは、LCM出力の精度と信頼性を低下させ、決定クリティカルなアプリケーションにおけるそれらの有用性を制限する。 選択バイアスに寄与するパラメータを抽出するBias Node Pruning(BNP)と、ホワイトボックスとブラックボックスの設定の両方でバイアスを減らすためのAuxiliary Option Injection(AOI)の2つの方法を紹介する。
  論文  参考訳（メタデータ） (2024-09-27T15:53:54Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond [93.96982273042296]
  視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。 我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。 本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。 次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
  論文  参考訳（メタデータ） (2023-10-23T08:09:42Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• BBQ: A Hand-Built Bias Benchmark for Question Answering [25.108222728383236]
  NLPモデルは、世界に存在する社会的バイアスを学習することは十分に文書化されているが、これらのバイアスが、質問応答(QA)のような適用されたタスクに対して、実際のモデルアウトプットにどのように現れるかを示す研究はほとんど行われていない。 筆者らによって構築された質問セットからなるデータセットであるBias Benchmark for QA (BBQ)を導入し、米国英語の文脈に関連する9つの異なる社会的次元に沿って、保護されたクラスに属する人々に対するテキストテストされた社会的偏見を強調した。 文脈が曖昧であるとき、モデルはステレオタイプに強く依存していることが分かり、つまり、モデルの出力は、この設定において有害なバイアスを一貫して再現する。
  論文  参考訳（メタデータ） (2021-10-15T16:43:46Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• Look at the First Sentence: Position Bias in Question Answering [21.532952595659705]
  本稿では,BiDAF や BERT などの質問応答モデルにおける位置バイアスについて検討する。 エントロピー正則化やバイアスアンサンブルを含む様々なデバイアス法を用いてモデルを訓練する。 解答位置の事前分布をバイアスモデルとして用いることは、位置バイアスを低減するのに非常に効果的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T06:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。