論文の概要: Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.16134v1
• Date: Thu, 22 May 2025 02:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.980225
• Title: Position of Uncertainty: A Cross-Linguistic Study of Positional Bias in Large Language Models
• Title（参考訳）: 不確かさの位置:大規模言語モデルにおける位置バイアスの言語間比較研究
• Authors: Menschikov Mikhail, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev,
• Abstract要約: 位置バイアスがモデルの不確実性、構文、プロンプトとどのように相互作用するかを検討する。 本研究は,5つの言語にまたがる言語間比較研究である。
• 参考スコア（独自算出の注目度）: 49.46335932942725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models exhibit positional bias -- systematic neglect of information at specific context positions -- yet its interplay with linguistic diversity remains poorly understood. We present a cross-linguistic study across five typologically distinct languages (English, Russian, German, Hindi, Vietnamese), examining how positional bias interacts with model uncertainty, syntax, and prompting. Key findings: (1) Positional bias is model-driven, with language-specific variations -- Qwen2.5-7B favors late positions, challenging assumptions of early-token bias; (2) Explicit positional guidance (e.g., correct context is at position X) reduces accuracy across languages, undermining prompt-engineering practices; (3) Aligning context with positional bias increases entropy, yet minimal entropy does not predict accuracy. (4) We further uncover that LLMs differently impose dominant word order in free-word-order languages like Hindi.
• Abstract（参考訳）: 大規模言語モデルは、特定の文脈における情報の体系的な無視という位置バイアスを示すが、言語的多様性との相互作用は理解されていない。 本研究では,5つの言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)を横断言語で比較検討し,位置バイアスがモデルの不確実性,構文,プロンプトとどのように相互作用するかを検討した。 主な発見は,(1) 位置バイアスは言語固有のバリエーションを持つモデル駆動型である -- Qwen2.5-7B は後期位置を好んでおり,早期刺激バイアスの仮定に挑戦する; (2) 位置指示(例えば,正しい文脈が位置X)は言語間の精度を低下させ,プロンプトエンジニアリングのプラクティスを損なう; 3) 位置バイアスを伴うコンテキストの調整はエントロピーを増大させるが,最小のエントロピーは精度を予測しない。 (4) ヒンディー語のような自由語順言語において, LLM が支配的な語順をそれぞれ異なる形で支配することを明らかにする。

関連論文リスト

• Assessing Large Language Models in Agentic Multilingual National Bias [31.67058518564021]
  推論に基づくレコメンデーションにおける言語間の格差はほとんど未解明のままである。 この研究は、このギャップに最初に対処する。 複数の言語にわたる意思決定タスクに対する応答を解析することにより、最先端のLLMにおける多言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2025-02-25T08:07:42Z)
• Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion [0.40964539027092917]
  過度なバイアスシナリオのエッジケースにおけるバイアスモデルを用いて、ビューに対するバイアスの重症度を評価する。 以上の結果から,暗黙的・明示的な意見の識別において,LLM 性能の相違が明らかとなり,反対意見の明示的な意見に対する偏見の傾向が一般的であった。 非整合モデルの直接的な不注意な反応は、決定性のさらなる洗練の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-08-15T15:23:00Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
  読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
  論文  参考訳（メタデータ） (2021-09-23T20:41:47Z)
• The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models [11.148662334602639]
  既存の言語モデルの位置埋め込みを分析し、翻訳不変性の強い証拠を見出す。 本稿では,トークン間の相対的な位置を解釈可能な方法で記述する翻訳不変自己アテンション(TISA)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T15:56:26Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。