論文の概要: Positional Biases Shift as Inputs Approach Context Window Limits
- arxiv url: http://arxiv.org/abs/2508.07479v1
- Date: Sun, 10 Aug 2025 20:40:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.872482
- Title: Positional Biases Shift as Inputs Approach Context Window Limits
- Title（参考訳）: 入力がコンテキストウィンドウ限界に近づくと位置バイアスがシフトする
- Authors: Blerta Veseli, Julian Chibane, Mariya Toneva, Alexander Koller,
- Abstract要約: 入力がモデルのコンテキストウィンドウの最大50%を占める場合、LiM効果は最強となる。
関係情報が入力の終端に近づくと,モデルの性能が向上する,距離に基づくバイアスが観測される。
- 参考スコア（独自算出の注目度）: 57.00239097102958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) often struggle to use information across long inputs effectively. Prior work has identified positional biases, such as the Lost in the Middle (LiM) effect, where models perform better when information appears at the beginning (primacy bias) or end (recency bias) of the input, rather than in the middle. However, long-context studies have not consistently replicated these effects, raising questions about their intensity and the conditions under which they manifest. To address this, we conducted a comprehensive analysis using relative rather than absolute input lengths, defined with respect to each model's context window. Our findings reveal that the LiM effect is strongest when inputs occupy up to 50% of a model's context window. Beyond that, the primacy bias weakens, while recency bias remains relatively stable. This effectively eliminates the LiM effect; instead, we observe a distance-based bias, where model performance is better when relevant information is closer to the end of the input. Furthermore, our results suggest that successful retrieval is a prerequisite for reasoning in LLMs, and that the observed positional biases in reasoning are largely inherited from retrieval. These insights have implications for long-context tasks, the design of future LLM benchmarks, and evaluation methodologies for LLMs handling extended inputs.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、長い入力の情報を効果的に利用するのに苦労することが多い。
従来の作業では、中間の損失(LiM)効果のような位置バイアスを特定しており、中央ではなく、入力の開始(プライマリーバイアス)や終了(遅延バイアス)に情報が現れると、モデルはより良く機能する。
しかし、長文の研究はこれらの効果を一貫して再現しておらず、その強さとそれらが表す条件について疑問を呈している。
これを解決するために、各モデルのコンテキストウィンドウに対して定義された絶対的な入力長ではなく、相対的な入力長を用いて包括的解析を行った。
その結果、入力がモデルのコンテキストウィンドウの最大50%を占める場合、LiM効果が最強であることが判明した。
さらに、プライマリーバイアスは弱まり、リレーレンシーバイアスは比較的安定している。
これにより、LiM効果を効果的に排除し、入力の終端に近い場合にモデル性能がよい距離ベースのバイアスを観測する。
さらに,本研究の結果から,LLMの推論には検索が不可欠であることが示唆され,解析における位置バイアスが検索から大きく受け継がれていることが示唆された。
これらの知見は、長いコンテキストタスク、将来のLLMベンチマークの設計、拡張入力を扱うLLMの評価手法に影響を及ぼす。
関連論文リスト
- How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。
その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
論文 参考訳（メタデータ） (2024-11-28T16:20:25Z) - Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs [50.40165119718928]
LongPiBenchは、複数の関連する情報を含む位置バイアスを評価するために設計されたベンチマークである。
これらの実験によると、現在のほとんどのモデルは「中間の失われた」問題に対して堅牢であるが、関連する情報片の間隔に関する重大なバイアスが存在する。
論文 参考訳（メタデータ） (2024-10-18T17:41:19Z) - Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。
近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。
本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-01T19:04:17Z) - Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。
8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2024-01-02T14:12:41Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。