論文の概要: On the Position Bias of Large Language Models: A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2610.22807v1
• Date: Fri, 16 Oct 2026 01:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.727873
• Title: On the Position Bias of Large Language Models: A Comprehensive Study
• Title（参考訳）: 大規模言語モデルの位置バイアスについて : 総合的研究
• Abstract要約: 位置バイアスは大きな言語モデルにおいて 重大な脆弱性です 我々は,10億レベルから1兆レベルまでのモデルスケールにおける位置バイアスを包括的に調査する。
• 参考スコア（独自算出の注目度）: 69.35338167271388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that position bias remains a critical vulnerability in large language models (LLMs), undermining both the integrity of multiple-choice evaluations and the reliability of retrieval-augmented generation. However, existing understanding of this phenomenon is largely derived from studies with limited model coverage and English-centric benchmarks, leaving the behavior of frontier models and diverse languages underexplored. In this work, we conduct a comprehensive investigation of position bias across model scales ranging from billion-level to trillion-level parameters, covering both multiple-choice and multi-document tasks in five languages. Our experiments reveal that while position bias remains noticeable in small-scale models and Non-English languages, increasing model scale and employing standard Chain-of-Thought prompting significantly mitigate this issue. Moreover, we demonstrate that emerging \emph{thinking models} with extended reasoning capabilities are nearly immune to position bias, suggesting a costly but general approach toward resolving this vulnerability.
• Abstract（参考訳）: 近年の研究では、位置バイアスは大規模言語モデル(LLM)において重要な脆弱性であり、複数選択評価の完全性と検索強化生成の信頼性の両方を損なうことが示されている。 しかし、この現象の既存の理解は、限られたモデルカバレッジと英語中心のベンチマークによる研究から大きく派生しており、フロンティアモデルや多様な言語の振る舞いは未解明のままである。 本研究では,10億レベルから1兆レベルまでのモデルスケールにおける位置バイアスを包括的に調査し,5つの言語における複数選択タスクと複数文書タスクを網羅する。 実験の結果,小規模モデルや非英語言語では位置バイアスが目立たずだが,モデルスケールが増加し,標準のChain-of-Thoughtが採用され,この問題が大幅に軽減されることがわかった。 さらに,より広範な推論能力を持つ新興の \emph{thinking model} が位置バイアスに対してほとんど免疫がないことを実証し,この脆弱性を解決するための費用がかかるが一般的なアプローチを示唆する。

関連論文リスト

• Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models [3.2555924024638667]
  安全に整合した大きな言語モデルでは、現実の正確性に関係なくユーザの意見を肯定する傾向がある。 テキストbf38言語とテキストbf33トピックカテゴリを対象とする,テキストbfsix命令調整モデルのベンチマークを行う。
  論文  参考訳（メタデータ） (2026-06-07T04:50:40Z)
• Beyond the Final Layer: Intermediate Representations for Better Multilingual Calibration in Large Language Models [50.34755385896279]
  大規模言語モデル(LLM)の信頼性確保には信頼度校正が不可欠である 6つのモデルファミリーと100以上の言語にまたがる多言語キャリブレーションの大規模かつ体系的な研究を行う。 非英語言語は体系的に悪い校正に苦しむ。
  論文  参考訳（メタデータ） (2025-10-03T16:07:15Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Assessing Agentic Large Language Models in Multilingual National Bias [31.67058518564021]
  推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。 この研究は、このギャップに最初に対処する。 複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2025-02-25T08:07:42Z)
• Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks [0.0]
  重要な問題は、Promptテンプレートに対する大きな言語モデルの不適切な感度と堅牢性である。 本稿では,複数の代表言語モデル (LLM) と広く活用されている事前学習モデル (PLM) の包括的評価を通じて,この問題を考察する。 Promptテンプレートの文構造の変更により, GPT-4の精度は49.21から25.44に大幅に低下した。
  論文  参考訳（メタデータ） (2023-05-15T15:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。