論文の概要: PrefRAG: Preference-Driven Multi-Source Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2411.00689v2
• Date: Mon, 07 Apr 2025 16:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 20:14:38.663266
• Title: PrefRAG: Preference-Driven Multi-Source Retrieval Augmented Generation
• Title（参考訳）: PrefRAG: 優先度駆動型マルチソース検索生成
• Authors: Qingfei Zhao, Ruobing Wang, Yukuo Cen, Daren Zha, Shicheng Tan, Jie Tang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、信頼性のある外部知識増強技術として登場した。 我々は,多種多様な検索源の深度及び制御可能な探索を可能にすることにより,RAGを強化する新しいマルチソースARAGシステム PrefRAG を開発した。 PrefRAGはVanilla RAGとMS-ARAGをそれぞれ25.6%、MS-ARAGは13.9%で上回っている。
• 参考スコア（独自算出の注目度）: 14.134363646781845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a reliable external knowledge augmentation technique to mitigate hallucination issues and parameterized knowledge limitations in Large Language Models (LLMs). Existing adaptive RAG (ARAG) systems excel at in-depth exploration within a single source but struggle to effectively and controllably explore different retrieval sources, as they fail to foresee their internal knowledge features. We develop a novel multi-source ARAG system, PrefRAG, which enhances RAG by enabling in-depth and controllable exploration of diverse retrieval sources through preference-driven adaptive retrieval and self-reflection. PrefRAG first fully explores controllable local sources in adaptive retrieval and supplements with the web when appropriate, ultimately selecting the optimal source for knowledge observation. Subsequently, PrefRAG feeds answer quality feedback into the retrieval process, optimizing it from the generation perspective to produce higher-quality responses. Extensive experiments confirm its superiority, high retrieval efficiency, and knowledge controllability. PrefRAG outperforms Vanilla RAG and the leading MS-ARAG by up to 25.6% and 13.9% respectively. Additionally, PrefRAG trained with DPO achieves higher performance. The code and data are available at https://github.com/QingFei1/PrefRAG.git.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)における幻覚の問題を緩和し、パラメータ化された知識制限を緩和する信頼性のある外部知識増強手法として登場した。 既存の適応的なRAG(ARAG)システムは、単一のソース内での詳細な探索に優れるが、内部知識の特徴を予測できないため、効率的にかつ制御的に異なる検索ソースを探索するのに苦労する。 提案する多元的ARAGシステムであるPrefRAG(PrefRAG)は、優先度駆動適応検索と自己回帰により、多元的検索ソースの奥深くかつ制御可能な探索を可能にすることにより、RAGを強化する。 PrefRAGはまず、適応検索における制御可能なローカルソースを探索し、適切なときにウェブでサプリメントを行い、最終的には知識観察のための最適なソースを選択する。 その後、PrefRAGは応答品質フィードバックを検索プロセスに供給し、生成の観点から最適化して高品質な応答を生成する。 広範囲な実験により、その優位性、高い検索効率、および知識制御性が確認された。 PrefRAGはVanilla RAGとMS-ARAGをそれぞれ25.6%、MS-ARAGは13.9%で上回っている。 さらに、DPOでトレーニングされたPrefRAGは、より高いパフォーマンスを達成する。 コードとデータはhttps://github.com/QingFei1/PrefRAG.gitで公開されている。

関連論文リスト

• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
  本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。 近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• Retrieval-Augmented Generation with Hierarchical Knowledge [38.500133410610495]
  グラフベースのRetrieval-Augmented Generation (RAG)法は,大規模言語モデル(LLM)の性能を大幅に向上させた。 既存のRAG法は、人間の認知において自然に生ずる階層的知識を適切に利用していない。 我々は階層的知識を利用してRAGシステムの意味的理解と構造的捕捉能力を高める新しいRAG手法、HiRAGを導入する。
  論文  参考訳（メタデータ） (2025-03-13T08:22:31Z)
• Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation [18.570899885235104]
  提案するExt2Genは,回答を生成する前にクエリ関連文を抽出することでRAGを強化する新しい抽出列生成モデルである。 実験により、Ext2Genはクエリ関連文を高い精度とリコールで効果的に識別し、信頼性の高い回答をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-02-28T06:46:53Z)
• Retrieval-Augmented Generation with Estimation of Source Reliability [15.69681944254975]
  Reliability-Aware RAG (RA-RAG) は複数のソースの信頼性を推定し、この情報を検索プロセスと集約プロセスの両方に組み込む。 異質なソース信頼性を持つ実世界のシナリオを反映したベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-10-30T12:09:29Z)
• RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
  Retrieval-Augmented Generation (RAG) は、外部リソースから知識を取得することで、Large Language Models (LLM) における幻覚を緩和する効果を証明している。 現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。 本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:53:29Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Reward-RAG: Enhancing RAG with Reward Driven Supervision [43.66966457772646]
  本稿では、Reward-Driven Supervisionを通じて、Retrieval-Augmented Generation(RAG)モデルを強化するために設計された新しいアプローチであるReward-RAGを紹介する。 従来のRAG手法とは異なり,本手法ではCriticGPTを用いて検索情報を特定の領域に適応させ,専用報酬モデルを訓練する。 この報酬モデルは、RAGを微調整するための合成データセットを生成し、その出力を人間の好みとより密に一致させる。
  論文  参考訳（メタデータ） (2024-10-03T15:26:50Z)
• RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
  大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-08-21T07:20:48Z)
• Efficient and Deployable Knowledge Infusion for Open-World Recommendations via Large Language Models [53.547190001324665]
  大規模言語モデル(LLM)からユーザとアイテムに関する2種類の外部知識を取得するためのREKIを提案する。 個別の知識抽出と個別の知識抽出を,異なるシナリオのスケールに合わせて開発し,オフラインのリソース消費を効果的に削減する。 実験によると、REKIは最先端のベースラインより優れており、多くの推奨アルゴリズムやタスクと互換性がある。
  論文  参考訳（メタデータ） (2024-08-20T03:45:24Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• A Multi-Source Retrieval Question Answering Framework Based on RAG [3.731892340350648]
  本研究では,従来のレトリバーをGPT-3.5に置き換える手法を提案する。 また,詳細な知識検索を実現するためのWeb検索手法を提案する。 Web検索におけるGPT検索の錯覚を緩和し,ノイズを低減するため,MSRAGというマルチソース検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T15:47:57Z)
• Source Echo Chamber: Exploring the Escalation of Source Bias in User, Data, and Recommender System Feedback Loop [65.23044868332693]
  本稿では,ソースバイアスがレコメンデーションシステムの領域に与える影響について検討する。 ソースバイアスの頻度を示し、ソースバイアスを増幅した潜在的デジタルエコーチャンバーを明らかにする。 我々は,HGCとAIGCの両方に対してモデル不均一性を維持するブラックボックスデバイアス法を導入する。
  論文  参考訳（メタデータ） (2024-05-28T09:34:50Z)
• ARAGOG: Advanced RAG Output Grading [44.99833362998488]
  Retrieval-Augmented Generation (RAG) は、外部知識をLLM(Large Language Model)出力に統合するために不可欠である。 本研究では,様々なRAG手法が検索精度および回答類似性に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-04-01T10:43:52Z)
• Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System [40.33178881317882]
  本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。 本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-13T06:03:47Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。