論文の概要: Retrieving, Rethinking and Revising: The Chain-of-Verification Can Improve Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2410.05801v1
• Date: Tue, 8 Oct 2024 08:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:39:56.775658
• Title: Retrieving, Rethinking and Revising: The Chain-of-Verification Can Improve Retrieval Augmented Generation
• Title（参考訳）: 検索、再考、再考: 検証の連鎖は検索の強化を改善できる
• Authors: Bolei He, Nuo Chen, Xinran He, Lingyong Yan, Zhenkai Wei, Jinchang Luo, Zhen-Hua Ling,
• Abstract要約: 大規模言語モデル(LLM)の強化を目的とした最近の検索拡張生成(RAG) 本稿では,外部検索の正しさと内部生成の整合性を高めるためのチェーン・オブ・バリフィケーション(CoV-RAG)を提案する。
• 参考スコア（独自算出の注目度）: 38.80878966092216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Retrieval Augmented Generation (RAG) aims to enhance Large Language Models (LLMs) by incorporating extensive knowledge retrieved from external sources. However, such approach encounters some challenges: Firstly, the original queries may not be suitable for precise retrieval, resulting in erroneous contextual knowledge; Secondly, the language model can easily generate inconsistent answer with external references due to their knowledge boundary limitation. To address these issues, we propose the chain-of-verification (CoV-RAG) to enhance the external retrieval correctness and internal generation consistency. Specifically, we integrate the verification module into the RAG, engaging in scoring, judgment, and rewriting. To correct external retrieval errors, CoV-RAG retrieves new knowledge using a revised query. To correct internal generation errors, we unify QA and verification tasks with a Chain-of-Thought (CoT) reasoning during training. Our comprehensive experiments across various LLMs demonstrate the effectiveness and adaptability compared with other strong baselines. Especially, our CoV-RAG can significantly surpass the state-of-the-art baselines using different LLM backbones.
• Abstract（参考訳）: 近年のRAG(Retrieval Augmented Generation)は,外部ソースから取得した膨大な知識を組み込むことで,Large Language Models(LLMs)を強化することを目的としている。 しかし、このようなアプローチはいくつかの課題に直面する: 第一に、元のクエリは正確な検索には適さないかもしれないし、誤った文脈知識をもたらすかもしれない; 第二に、言語モデルは、その知識境界の制限により、外部参照との一貫性のない応答を容易に生成できる。 これらの問題に対処するため、外部検索精度と内部生成整合性を高めるためのチェーン・オブ・バリフィケーション(CoV-RAG)を提案する。 具体的には、検証モジュールをRAGに統合し、スコア付け、判断、書き換えに従事します。 外部の検索エラーを修正するため、CoV-RAGは改訂されたクエリを使って新しい知識を検索する。 内部生成エラーを補正するため,トレーニング中のQAと検証タスクをChain-of-Thought(CoT)推論で統一する。 各種LLMの総合的な実験により,他の強靭なベースラインと比較して有効性と適応性を示した。 特に,我々のCoV-RAGは,異なるLDMバックボーンを用いて,最先端のベースラインを大幅に超えることができる。

関連論文リスト

• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
  現実的な条件下での制御分析により,不完全検索の増大は避けられず,極めて有害である可能性が示唆された。 本稿では,LLMの内部知識から必須情報を適応的に抽出する新しいRAG手法であるAstute RAGを提案する。 さらに分析した結果, Astute RAG は知識紛争を効果的に解決し,RAG システムの信頼性と信頼性を向上させることが判明した。
  論文  参考訳（メタデータ） (2024-10-09T17:59:58Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [122.62012375722124]
  既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。 Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。