論文の概要: Is Position Bias in Dense Retrievers Built In-or Learned from Data?

• arxiv url: http://arxiv.org/abs/2605.26578v1
• Date: Tue, 26 May 2026 05:50:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.691227
• Title: Is Position Bias in Dense Retrievers Built In-or Learned from Data?
• Title（参考訳）: 深度レトリバーにおける位置バイアスはデータから学習されるか?
• Authors: Daegon Yu, SeungYoon Han, Woomyoung Park,
• Abstract要約: トレーニングデータにおけるエビデンスの位置分布が,検索レベルのバイアス方向に与える影響について検討した。 位置バランストレーニングは、位置対応ベンチマークにおいて、位置感度を57～87%削減する。 これらの結果から, トレーニング位置分布は, 検索レベルの位置バイアスの主要な制御因子であることがわかった。
• 参考スコア（独自算出の注目度）: 3.331218753253791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrievers exhibit positional bias, favoring documents whose query-relevant information appears near the beginning and degrading retrieval performance when the information appears later. While prior work on positional bias in dense retrievers has largely focused on architectural explanations, we study how the positional distribution of evidence in training data affects retrieval-level bias direction. To test this, we construct synthetic position-targeted training sets in which query-relevant evidence appears at the beginning, middle, or end of documents, and fine-tune eight architecturally diverse pretrained models under position-skewed and balanced training distributions. At the ranking level, we observe a strong directional pattern across the examined models: skewed training distributions favor evidence at the corresponding positions. Position-balanced training reduces positional sensitivity by 57--87\% on position-aware benchmarks, with competitive mean retrieval performance in our controlled setting. Representation-level analyses further suggest that fine-tuning often reshapes learned positional preferences, although pre-existing architectural or pretraining-specific tendencies persist in some models. These results identify training-position distribution as a major controllable factor in retrieval-level position bias and suggest balanced data curation as a practical mitigation strategy.
• Abstract（参考訳）: デンス検索装置は位置バイアスを示し、クエリ関連情報が最初に現れる文書を好んで、後から情報が現れると検索性能が低下する。 密集型レトリバーにおける位置偏差に関する先行研究は、主にアーキテクチャ的説明に焦点を合わせてきたが、トレーニングデータにおけるエビデンスの位置分布が検索レベルの偏差方向に与える影響について検討した。 これをテストするために,文書の先頭,中端,端にクエリ関連証拠が現れる総合的な位置目標トレーニングセットを構築し,位置スキューおよびバランスの取れたトレーニング分布の下で,アーキテクチャ的に多様性のある8つの事前訓練モデルを微調整する。 ランク付けレベルでは, トレーニング分布のスキュー化は, 対応する位置の証拠を優先する, 検討対象モデルの強い方向パターンを観察する。 位置バランストレーニングは、位置対応ベンチマークにおいて57-87\%の位置感度を低下させ、制御環境での競合平均検索性能を低下させる。 表現レベルの分析はさらに、微調整はしばしば学習された位置的嗜好を想起させるが、既存の建築的または事前訓練的な傾向はいくつかのモデルで継続することを示している。 これらの結果から, トレーニング位置分布を検索レベルの位置バイアスの主要な制御可能な因子として同定し, 実際の緩和戦略としてバランスデータキュレーションを提案する。

関連論文リスト

• LLM-based Listwise Reranking under the Effect of Positional Bias [69.07550988151473]
  LLMをベースとしたリストワイドパスの再ランク付けは、候補パスのランク付けに有効であるとして注目されている。 これらのモデルは位置バイアスに悩まされ、入力の終端の位置にある通路はランクの上位位置に移動する可能性が低い。 DebiasFirstは、微調整中に位置校正と位置認識データ拡張を統合する手法である。
  論文  参考訳（メタデータ） (2026-04-04T08:40:57Z)
• An Empirical Study of Position Bias in Modern Information Retrieval [9.958646803388513]
  本研究では,情報検索における位置バイアスについて検討する。 モデルは、後から現れる意味的に関連する情報を無視しながら、通過の開始時にコンテンツを過度に強調する傾向がある。 実験により, 関連する情報が通過中に現れると, 密埋モデルとコルバート式モデルが著しく性能劣化することが示された。
  論文  参考訳（メタデータ） (2025-05-20T05:29:01Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。