論文の概要: PrefRAG: Preference-Driven Multi-Source Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2411.00689v2
• Date: Mon, 07 Apr 2025 16:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:06:27.758867
• Title: PrefRAG: Preference-Driven Multi-Source Retrieval Augmented Generation
• Title（参考訳）: PrefRAG: 優先度駆動型マルチソース検索生成
• Authors: Qingfei Zhao, Ruobing Wang, Yukuo Cen, Daren Zha, Shicheng Tan, Jie Tang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、信頼性のある外部知識増強技術として登場した。 我々は,多種多様な検索源の深度及び制御可能な探索を可能にすることにより,RAGを強化する新しいマルチソースARAGシステム PrefRAG を開発した。 PrefRAGはVanilla RAGとMS-ARAGをそれぞれ25.6%、MS-ARAGは13.9%で上回っている。
• 参考スコア（独自算出の注目度）: 14.134363646781845
• License:
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a reliable external knowledge augmentation technique to mitigate hallucination issues and parameterized knowledge limitations in Large Language Models (LLMs). Existing adaptive RAG (ARAG) systems excel at in-depth exploration within a single source but struggle to effectively and controllably explore different retrieval sources, as they fail to foresee their internal knowledge features. We develop a novel multi-source ARAG system, PrefRAG, which enhances RAG by enabling in-depth and controllable exploration of diverse retrieval sources through preference-driven adaptive retrieval and self-reflection. PrefRAG first fully explores controllable local sources in adaptive retrieval and supplements with the web when appropriate, ultimately selecting the optimal source for knowledge observation. Subsequently, PrefRAG feeds answer quality feedback into the retrieval process, optimizing it from the generation perspective to produce higher-quality responses. Extensive experiments confirm its superiority, high retrieval efficiency, and knowledge controllability. PrefRAG outperforms Vanilla RAG and the leading MS-ARAG by up to 25.6% and 13.9% respectively. Additionally, PrefRAG trained with DPO achieves higher performance. The code and data are available at https://github.com/QingFei1/PrefRAG.git.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)における幻覚の問題を緩和し、パラメータ化された知識制限を緩和する信頼性のある外部知識増強手法として登場した。 既存の適応的なRAG(ARAG)システムは、単一のソース内での詳細な探索に優れるが、内部知識の特徴を予測できないため、効率的にかつ制御的に異なる検索ソースを探索するのに苦労する。 提案する多元的ARAGシステムであるPrefRAG(PrefRAG)は、優先度駆動適応検索と自己回帰により、多元的検索ソースの奥深くかつ制御可能な探索を可能にすることにより、RAGを強化する。 PrefRAGはまず、適応検索における制御可能なローカルソースを探索し、適切なときにウェブでサプリメントを行い、最終的には知識観察のための最適なソースを選択する。 その後、PrefRAGは応答品質フィードバックを検索プロセスに供給し、生成の観点から最適化して高品質な応答を生成する。 広範囲な実験により、その優位性、高い検索効率、および知識制御性が確認された。 PrefRAGはVanilla RAGとMS-ARAGをそれぞれ25.6%、MS-ARAGは13.9%で上回っている。 さらに、DPOでトレーニングされたPrefRAGは、より高いパフォーマンスを達成する。 コードとデータはhttps://github.com/QingFei1/PrefRAG.gitで公開されている。

関連論文リスト

• Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。 本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
  論文  参考訳（メタデータ） (2025-02-10T04:29:36Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation [33.85528514353727]
  本稿では,検索関連性に基づいた多元的知識を適応的に活用するRetrieval Preference Optimization (RPO)を提案する。 RPOは、トレーニングにおける検索関連性の認識を定量化する唯一のRAG指定アライメントアプローチである。 4つのデータセットの実験では、RPOは追加のコンポーネントを使わずに、RAGを4～10%精度で上回っている。
  論文  参考訳（メタデータ） (2025-01-23T14:58:56Z)
• Retrieval-Augmented Generation with Estimation of Source Reliability [15.69681944254975]
  Reliability-Aware RAG (RA-RAG) は複数のソースの信頼性を推定し、この情報を検索プロセスと集約プロセスの両方に組み込む。 異質なソース信頼性を持つ実世界のシナリオを反映したベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-10-30T12:09:29Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• A Multi-Source Retrieval Question Answering Framework Based on RAG [3.731892340350648]
  本研究では,従来のレトリバーをGPT-3.5に置き換える手法を提案する。 また,詳細な知識検索を実現するためのWeb検索手法を提案する。 Web検索におけるGPT検索の錯覚を緩和し,ノイズを低減するため,MSRAGというマルチソース検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T15:47:57Z)
• Source Echo Chamber: Exploring the Escalation of Source Bias in User, Data, and Recommender System Feedback Loop [65.23044868332693]
  本稿では,ソースバイアスがレコメンデーションシステムの領域に与える影響について検討する。 ソースバイアスの頻度を示し、ソースバイアスを増幅した潜在的デジタルエコーチャンバーを明らかにする。 我々は,HGCとAIGCの両方に対してモデル不均一性を維持するブラックボックスデバイアス法を導入する。
  論文  参考訳（メタデータ） (2024-05-28T09:34:50Z)
• Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System [40.33178881317882]
  本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。 本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-13T06:03:47Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。