論文の概要: GainRAG: Preference Alignment in Retrieval-Augmented Generation through Gain Signal Synthesis

• arxiv url: http://arxiv.org/abs/2505.18710v1
• Date: Sat, 24 May 2025 14:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.611672
• Title: GainRAG: Preference Alignment in Retrieval-Augmented Generation through Gain Signal Synthesis
• Title（参考訳）: GainRAG:ゲイン信号合成による検索拡張生成における優先アライメント
• Authors: Yi Jiang, Sendong Zhao, Jianbo Li, Haochun Wang, Bing Qin,
• Abstract要約: Retrieval-Augmented Generation (RAG)フレームワークは、検索モジュールを導入し、検索された情報を大きな言語モデル(LLM)の入力コンテキストに動的に注入する。 提案手法は,入力パスが正しい出力にどの程度寄与するかを計測する新たな指標である「ゲイン」を定義することで,レトリバーとLLMの好みを整合させる新しい手法であるGainRAGを提案する。 実験結果はGainRAGの有効性を6つのデータセットで検証した。
• 参考スコア（独自算出の注目度）: 30.185213495829164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Retrieval-Augmented Generation (RAG) framework introduces a retrieval module to dynamically inject retrieved information into the input context of large language models (LLMs), and has demonstrated significant success in various NLP tasks. However, the current study points out that there is a preference gap between retrievers and LLMs in the RAG framework, which limit the further improvement of system performance. Some highly relevant passages may interfere with LLM reasoning because they contain complex or contradictory information; while some indirectly related or even inaccurate content may help LLM generate more accurate answers by providing suggestive information or logical clues. To solve this, we propose GainRAG, a novel approach that aligns the retriever's and LLM's preferences by defining a new metric, "gain", which measure how well an input passage contributes to correct outputs. Specifically, we propose a method to estimate these gain signals and train a middleware that aligns the preferences of the retriever and the LLM using only limited data. In addition, we introduce a pseudo-passage strategy to mitigate degradation. The experimental results on 6 datasets verify the effectiveness of GainRAG.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) フレームワークでは,検索した情報を大規模言語モデル (LLM) の入力コンテキストに動的に注入する検索モジュールが導入された。 しかし,本研究では,RAGフレームワークではレトリバーとLCMの選好ギャップが指摘されており,システム性能のさらなる向上が抑制されている。 複雑な情報や矛盾した情報を含むため、LSM推論を妨害することがあるが、間接的に関係のあるコンテンツや不正確なコンテンツは、示唆的な情報や論理的な手がかりを提供することで、LSMがより正確な答えを生成するのに役立つ。 そこで本研究では,入力経路がどの程度正確な出力に寄与するかを計測する新たな指標である「ゲイン」を定義し,レトリバーとLLMの好みを整合させる手法であるGainRAGを提案する。 具体的には、これらの利得信号を推定し、限られたデータのみを用いて、検索者とLLMの好みを整列するミドルウェアを訓練する手法を提案する。 さらに,劣化を緩和するための擬似パス戦略を導入する。 実験結果はGainRAGの有効性を6つのデータセットで検証した。

関連論文リスト

• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation [20.420575358183687]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に固有の幻覚を緩和する有効な方法であることが証明されている。 従来のアプローチでは、通常、RAGの最適化に欠けるセマンティックな類似性に基づいて、レトリバーをトレーニングする。 我々は,LLMの言語機能を活用して,より粒度の細かい情報中心の視点からサンプルを構築する新しいフレームワークFiGRetを提案する。
  論文  参考訳（メタデータ） (2024-11-06T14:42:39Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。 本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。 これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:30:07Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。