Fugu-MT 論文翻訳(概要): An Empirical Study of Position Bias in Modern Information Retrieval

論文の概要: An Empirical Study of Position Bias in Modern Information Retrieval

arxiv url: http://arxiv.org/abs/2505.13950v3
Date: Mon, 08 Sep 2025 14:21:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-09 14:07:03.057656
Title: An Empirical Study of Position Bias in Modern Information Retrieval
Title（参考訳）: 現代情報検索における位置バイアスの実証的研究
Authors: Ziyang Zeng, Dun Zhang, Jiacheng Li, Panxiang Zou, Yudong Zhou, Yuqing Yang,
Abstract要約: 本研究では,情報検索における位置バイアスについて検討する。モデルは、後から現れる意味的に関連する情報を無視しながら、通過の開始時にコンテンツを過度に強調する傾向がある。実験により, 関連する情報が通過中に現れると, 密埋モデルとコルバート式モデルが著しく性能劣化することが示された。
参考スコア（独自算出の注目度）: 9.958646803388513
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study investigates the position bias in information retrieval, where models tend to overemphasize content at the beginning of passages while neglecting semantically relevant information that appears later. To analyze the extent and impact of position bias, we introduce a new evaluation framework consisting of two position-aware retrieval benchmarks (SQuAD-PosQ, FineWeb-PosQ) and an intuitive diagnostic metric, the Position Sensitivity Index (PSI), for quantifying position bias from a worst-case perspective. We conduct a comprehensive evaluation across the full retrieval pipeline, including BM25, dense embedding models, ColBERT-style late-interaction models, and full-interaction reranker models. Our experiments show that when relevant information appears later in the passage, dense embedding models and ColBERT-style models suffer significant performance degradation (an average drop of 15.6%). In contrast, BM25 and reranker models demonstrate greater robustness to such positional variation. These findings provide practical insights into model sensitivity to the position of relevant information and offer guidance for building more position-robust retrieval systems. Code and data are publicly available at: https://github.com/NovaSearch-Team/position-bias-in-IR.
Abstract（参考訳）: 本研究では,情報検索における位置バイアスについて検討し,後述する意味的関連情報を無視しながら,翻訳開始時の内容を過度に強調する傾向にあることを示した。位置バイアスの程度と影響を分析するために,2つの位置認識型検索ベンチマーク(SQuAD-PosQ, FineWeb-PosQ)と直感的診断指標である位置感度指数(PSI)からなる新たな評価フレームワークを導入する。我々は、BM25、密埋め込みモデル、ColBERTスタイルの遅延相互作用モデル、フルインタラクションリランカモデルを含む、全検索パイプライン全体にわたって包括的な評価を行う。実験の結果,密埋モデルとコルバート式モデルでは,関連する情報が後々現れると,性能が著しく低下する(平均15.6%の低下)ことがわかった。対照的に、BM25とリランカーモデルは、そのような位置変化に対してより堅牢性を示す。これらの知見は, 関連情報の位置に対するモデル感度に関する実用的な知見を与え, より位置ロバストな検索システムを構築するためのガイダンスを提供する。コードとデータは、https://github.com/NovaSearch-Team/position-bias-in-IRで公開されている。

関連論文リスト

Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank [50.9530591265324]
良好な性能のプロダクションシステムによって収集されたクリックで2towerモデルをトレーニングすると、ランキング性能が低下する。理論的には、2towerモデルの識別可能性条件を解析し、クリックからモデルパラメータを復元するために、文書の入れ替わりや重複する特徴分布が必要であることを示す。また,ログポリシが2towerモデルに与える影響についても検討し,モデルがユーザの動作を完全に捉えている場合,バイアスが発生しないことを見出した。
論文参考訳（メタデータ） (2025-06-25T14:47:43Z)
Detecting Prefix Bias in LLM-based Reward Models [4.596249232904721]
選好データセットに基づいて訓練された報酬モデルにおいて,プレフィックスバイアスを検知し,評価するための新しい手法を提案する。これらの指標を活用して、人種と性別の異なる嗜好モデルにおける大きなバイアスを明らかにします。本研究は,公正かつ信頼性の高い報酬モデルを開発する上で,バイアス対応データセットの設計と評価を重要視するものである。
論文参考訳（メタデータ） (2025-05-13T21:50:03Z)
On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion [1.2703808802607108]
知識グラフ埋め込み(KGE)モデルは知識グラフ補完のために広く研究されている。標準的な評価基準は、欠落した三重項を正確に予測するためのモデルを罰するクローズドワールドの仮定に依存している。本稿では,大規模データセットFB-CVT-REVとFB+CVT-REVの4つの代表的なKGEモデルを包括的に評価する。
論文参考訳（メタデータ） (2025-04-11T20:49:02Z)
Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
論文参考訳（メタデータ） (2025-01-02T17:01:06Z)
Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文参考訳（メタデータ） (2024-07-01T09:06:57Z)
Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models from the Perspective of Position Bias [13.828653029379257]
位置バイアスを測定することにより,Large Language Models (LLMs) におけるゼロショット抽象要約を特徴付ける。位置バイアスは入力テキストの特定の部分からの情報を不当に優先するモデルの傾向を捉え、望ましくない振る舞いをもたらす。その結果,ゼロショット要約タスクにおけるモデルの性能と位置バイアスに関する新たな洞察と議論につながった。
論文参考訳（メタデータ） (2024-01-03T21:38:40Z)
MRCLens: an MRC Dataset Bias Detection Toolkit [82.44296974850639]
MRCLensは,ユーザがフルモデルをトレーニングする前に,バイアスが存在するかどうかを検出するツールキットである。ツールキットの導入の便宜のために,MDCにおける共通バイアスの分類も提供する。
論文参考訳（メタデータ） (2022-07-18T21:05:39Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。 GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
論文参考訳（メタデータ） (2021-07-27T08:02:49Z)
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking [12.526786110360622]
教師付き機械学習モデルとその評価は、基礎となるデータセットの品質に大きく依存する。文中の正しい回答の位置の偏りを,文節の再ランキングに用いる2つの一般的な質問応答データセットで観察する。位置バイアスを緩和することにより、Transformerベースのリグレードモデルはバイアス付きおよび偏りのあるデータセットに対して等しく有効であることを示す。
論文参考訳（メタデータ） (2021-01-18T10:38:03Z)
Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文参考訳（メタデータ） (2020-05-10T17:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。