論文の概要: Do RAG Systems Suffer From Positional Bias?

• arxiv url: http://arxiv.org/abs/2505.15561v1
• Date: Wed, 21 May 2025 14:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.692121
• Title: Do RAG Systems Suffer From Positional Bias?
• Title（参考訳）: RAGシステムは位置バイアスによって引き起こされるか?
• Authors: Florin Cuconasu, Simone Filice, Guy Horowitz, Yoelle Maarek, Fabrizio Silvestri,
• Abstract要約: 我々は、最先端の検索パイプラインが、関連するパスを検索する一方で、体系的に非常に気を散らすパイプラインをトップにもたらす方法を示す。 以上の結果から, LLM位置選択に基づいて経路を再構成しようとする高度戦略は, ランダムシャッフルよりも性能が良くないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.06567550060387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval Augmented Generation enhances LLM accuracy by adding passages retrieved from an external corpus to the LLM prompt. This paper investigates how positional bias - the tendency of LLMs to weight information differently based on its position in the prompt - affects not only the LLM's capability to capitalize on relevant passages, but also its susceptibility to distracting passages. Through extensive experiments on three benchmarks, we show how state-of-the-art retrieval pipelines, while attempting to retrieve relevant passages, systematically bring highly distracting ones to the top ranks, with over 60% of queries containing at least one highly distracting passage among the top-10 retrieved passages. As a result, the impact of the LLM positional bias, which in controlled settings is often reported as very prominent by related works, is actually marginal in real scenarios since both relevant and distracting passages are, in turn, penalized. Indeed, our findings reveal that sophisticated strategies that attempt to rearrange the passages based on LLM positional preferences do not perform better than random shuffling.
• Abstract（参考訳）: 検索拡張生成は、外部コーパスから取得した通路をLSMプロンプトに追加することにより、LCM精度を向上させる。 本研究は, LLM の位置バイアスが, プロンプトにおける位置に応じて異なる重み付けを行う傾向が, 関連通路に乗じる LLM の能力にどのように影響するかを考察する。 3つのベンチマークの広範な実験を通して、最先端の検索パイプラインがどのようにして関連するパスを検索し、体系的に高い障害のあるパスを上位にもたらすかを示し、60%以上のクエリは、検索された上位10のパスのうち少なくとも1つの高い障害のあるパスを含む。 結果として、制御された設定におけるLLM位置バイアスの影響は、関連する研究によって非常に顕著であるとしばしば報告されるが、実際のシナリオでは、関連する通路と注意をそらす通路の両方がペナル化されているため、実際には限界である。 以上の結果から,LSMの位置選択に基づいて経路を並べ替えようとする高度戦略は,ランダムシャッフルよりも優れていないことが明らかとなった。

関連論文リスト

• The Distracting Effect: Understanding Irrelevant Passages in RAG [8.882885336338205]
  我々は、RAGシステムを改善するために、ハードトラベリングパスを特定し、使用します。 従来のRAGデータセットで微調整されたものに比べて解答精度は最大で7.5%向上する。 コントリビューションは2つある: まず、無関係な通路の単純な二分分類を超えて、完全に無関係な通路と気晴らしのどちらか、そして第二に、困難に気晴らしする通路を見つけるための複数の方法を開発し、分析する。
  論文  参考訳（メタデータ） (2025-05-11T09:25:05Z)
• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• LLMs can be Fooled into Labelling a Document as Relevant (best café near me; this paper is perfectly relevant) [26.996231897558324]
  本研究は,複数のオープンソースおよびプロプライエタリ LLM を用いて,関連性を考慮した短いテキスト(パス)のラベル付け実験について報告する。 人間の判断とLLMの全体的な合意は、以前の研究で測定された人間対人間の合意に匹敵するものであるが、LLMは人間の判断と関連するパスをラベル付けする可能性が高い。
  論文  参考訳（メタデータ） (2025-01-29T20:11:35Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs [18.832135309689736]
  大規模言語モデル(LLM)の最近の進歩は、長い入力コンテキストを処理する能力を高めている。 近年の研究では、LCMの位置バイアスが示されており、有用な情報の位置に応じて様々な性能を示す。 本研究では,データ拡張手法と効率的なパラメータアダプタを組み合わせた位置認識型PAPEFTアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-01T19:04:17Z)
• Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
  大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-05T07:47:34Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。