論文の概要: RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards

• arxiv url: http://arxiv.org/abs/2410.13509v2
• Date: Tue, 04 Mar 2025 06:12:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:36.961176
• Title: RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards
• Title（参考訳）: RAG-DDR:微分データリワードを用いた検索拡張生成の最適化
• Authors: Xinze Li, Sen Mei, Zhenghao Liu, Yukun Yan, Shuo Wang, Shi Yu, Zheni Zeng, Hao Chen, Ge Yu, Zhiyuan Liu, Maosong Sun, Chenyan Xiong,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。 現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。 本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
• 参考スコア（独自算出の注目度）: 78.74923079748521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has proven its effectiveness in mitigating hallucinations in Large Language Models (LLMs) by retrieving knowledge from external resources. To adapt LLMs for the RAG systems, current approaches use instruction tuning to optimize LLMs, improving their ability to utilize retrieved knowledge. This supervised fine-tuning (SFT) approach focuses on equipping LLMs to handle diverse RAG tasks using different instructions. However, it trains RAG modules to overfit training signals and overlooks the varying data preferences among agents within the RAG system. In this paper, we propose a Differentiable Data Rewards (DDR) method, which end-to-end trains RAG systems by aligning data preferences between different RAG modules. DDR works by collecting the rewards to optimize each agent in the RAG system with the rollout method, which prompts agents to sample some potential responses as perturbations, evaluates the impact of these perturbations on the whole RAG system, and subsequently optimizes the agent to produce outputs that improve the performance of the RAG system. Our experiments on various knowledge-intensive tasks demonstrate that DDR significantly outperforms the SFT method, particularly for LLMs with smaller-scale parameters that depend more on the retrieved knowledge. Additionally, DDR exhibits a stronger capability to align the data preference between RAG modules. The DDR method makes the generation module more effective in extracting key information from documents and mitigating conflicts between parametric memory and external knowledge. All codes are available at https://github.com/OpenMatch/RAG-DDR.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。 RAGシステムにLLMを適用するために、現在のアプローチでは、命令チューニングを使用してLLMを最適化し、取得した知識を活用する能力を改善している。 この教師付き微調整(SFT)アプローチは、異なる命令を使って多様なRAGタスクを処理するLLMの装備に焦点を当てている。 しかしながら、RAGモジュールをトレーニング信号に適合するように訓練し、RAGシステム内のエージェント間でのさまざまなデータ優先性を見落としている。 本稿では,異なるRAGモジュール間でデータの嗜好を整列させることにより,RAGシステムをエンドツーエンドに訓練するDDR法を提案する。 DDRは、RAGシステム内の各エージェントを最適化する報酬をロールアウト方式で収集し、エージェントに潜在的な応答を摂動としてサンプリングさせ、RAGシステム全体の摂動の影響を評価し、その後、エージェントを最適化してRAGシステムの性能を向上させる出力を生成する。 種々の知識集約型タスクに関する実験により、DDRはSFT法、特に検索した知識に依存したより小さなパラメータを持つLLMに対して著しく優れることが示された。 さらに、DDRはRAGモジュール間でデータ優先を調整できる、より強力な機能を示している。 DDR法により、生成モジュールは文書からキー情報を抽出し、パラメトリックメモリと外部知識の衝突を緩和する。 すべてのコードはhttps://github.com/OpenMatch/RAG-DDRで入手できる。

関連論文リスト

• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
  本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。 近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving [9.962031642362813]
  Retrieval-augmented Generation (RAG) は、信頼性LLMサービスに対する一般的なアプローチとして現れつつある。 RAGは、幅広いRAGアルゴリズムをキャプチャする構造化された抽象化である。 RAGOは、効率的なRAGサービスのためのシステム最適化フレームワークである。
  論文  参考訳（メタデータ） (2025-03-18T18:58:13Z)
• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• MARAGE: Transferable Multi-Model Adversarial Attack for Retrieval-Augmented Generation Data Extraction [6.917134562107388]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚に対する解決策を提供する。 既存のRAG抽出攻撃は、しばしば手作業によるプロンプトに依存し、その効果を制限している。 我々は、ターゲットRAGシステムに送信されたユーザクエリに付加された逆文字列を最適化するMARAGEと呼ばれるフレームワークを導入し、検索されたRAGデータを含む出力を発生させる。
  論文  参考訳（メタデータ） (2025-02-05T00:17:01Z)
• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
  Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。 チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-25T14:07:53Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
  大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-08-21T07:20:48Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Robust Implementation of Retrieval-Augmented Generation on Edge-based Computing-in-Memory Architectures [26.183960625493807]
  エッジデバイスにデプロイされる大規模言語モデル(LLM)は、微調整とパラメータの特定の部分の更新を通じて学習する。 Retrieval-Augmented Generation (RAG) は資源効率の高いLLM学習手法である。 本稿では,コンピューティング・イン・メモリ(CiM)アーキテクチャを用いてRAGを高速化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T22:31:50Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。