論文の概要: Vendi-RAG: Adaptively Trading-Off Diversity And Quality Significantly Improves Retrieval Augmented Generation With LLMs

• arxiv url: http://arxiv.org/abs/2502.11228v1
• Date: Sun, 16 Feb 2025 18:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:06.010249
• Title: Vendi-RAG: Adaptively Trading-Off Diversity And Quality Significantly Improves Retrieval Augmented Generation With LLMs
• Title（参考訳）: Vendi-RAG: 適応的トレーディングオフの多様性と品質がLLMによる検索能力の向上に寄与
• Authors: Mohammad Reza Rezaei, Adji Bousso Dieng,
• Abstract要約: Vendi-RAGは、検索の多様性と回答の品質を共同で最適化する反復的なプロセスに基づくフレームワークである。 Veddi-RAGは、フレキシブルな類似性に基づく多様性指標であるVendi Score(VS)を活用して、文書検索における意味的多様性を促進する。 Veddi-RAGは従来のシングルステップとマルチステップのRAGアプローチよりも大幅に精度が向上している。
• 参考スコア（独自算出の注目度）: 2.992602379681373
• License:
• Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) for domain-specific question-answering (QA) tasks by leveraging external knowledge sources. However, traditional RAG systems primarily focus on relevance-based retrieval and often struggle with redundancy, especially when reasoning requires connecting information from multiple sources. This paper introduces Vendi-RAG, a framework based on an iterative process that jointly optimizes retrieval diversity and answer quality. This joint optimization leads to significantly higher accuracy for multi-hop QA tasks. Vendi-RAG leverages the Vendi Score (VS), a flexible similarity-based diversity metric, to promote semantic diversity in document retrieval. It then uses an LLM judge that evaluates candidate answers, generated after a reasoning step, and outputs a score that the retriever uses to balance relevance and diversity among the retrieved documents during each iteration. Experiments on three challenging datasets -- HotpotQA, MuSiQue, and 2WikiMultiHopQA -- demonstrate Vendi-RAG's effectiveness in multi-hop reasoning tasks. The framework achieves significant accuracy improvements over traditional single-step and multi-step RAG approaches, with accuracy increases reaching up to +4.2% on HotpotQA, +4.1% on 2WikiMultiHopQA, and +1.3% on MuSiQue compared to Adaptive-RAG, the current best baseline. The benefits of Vendi-RAG are even more pronounced as the number of retrieved documents increases. Finally, we evaluated Vendi-RAG across different LLM backbones, including GPT-3.5, GPT-4, and GPT-4o-mini, and observed consistent improvements, demonstrating that the framework's advantages are model-agnostic.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部知識ソースを活用することにより、ドメイン固有質問応答(QA)タスクのための大規模言語モデル(LLM)を強化する。 しかしながら、従来のRAGシステムは主に関連性に基づく検索に重点を置いており、特に複数の情報源からの情報を接続する必要がある場合、冗長性に悩まされることが多い。 本稿では,検索の多様性と回答品質を協調的に最適化する反復的プロセスに基づくフレームワークであるVendi-RAGを紹介する。 この共同最適化により、マルチホップQAタスクの精度が大幅に向上する。 Vendi-RAGは、フレキシブルな類似性に基づく多様性指標であるVendi Score(VS)を活用して、文書検索における意味的多様性を促進する。 次に、LLM判定器を使用して、推論ステップ後に生成された候補回答を評価し、検索者が各イテレーション中に取得した文書間の関連性と多様性のバランスをとるために使用するスコアを出力する。 HotpotQA、MuSiQue、および2WikiMultiHopQAという3つの挑戦的なデータセットの実験は、マルチホップ推論タスクにおけるVendi-RAGの有効性を実証している。 2WikiMultiHopQAでは+4.1%、MuSiQueでは+1.3%、現在の最高のベースラインであるAdaptive-RAGでは+4.2%まで精度が向上している。 Vendi-RAGの利点は、検索されたドキュメントの数が増えるにつれてさらに顕著になる。 最後に, GPT-3.5, GPT-4, GPT-4o-miniを含む異なるLLMバックボーン間のVendi-RAGを評価し, 一貫した改善を観察し, フレームワークの利点がモデルに依存しないことを実証した。

関連論文リスト

• Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning [51.54046200512198]
  Retrieval-augmented Generation (RAG) は、外部の現在の知識を大規模言語モデルに組み込むために広く利用されている。 標準的なRAGパイプラインは、クエリ書き換え、文書検索、文書フィルタリング、回答生成など、いくつかのコンポーネントから構成される。 これらの課題を克服するため,RAGパイプラインを多エージェント協調作業として,各コンポーネントをRLエージェントとして扱うことを提案する。
  論文  参考訳（メタデータ） (2025-01-25T14:24:50Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。 Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。 この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。 MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
  論文  参考訳（メタデータ） (2024-12-31T08:07:26Z)
• SiReRAG: Indexing Similar and Related Information for Multihop Reasoning [96.60045548116584]
  SiReRAGは、類似情報と関連する情報の両方を明示的に考慮する新しいRAGインデックス方式である。 SiReRAGは、3つのマルチホップデータセットの最先端インデックス手法を一貫して上回る。
  論文  参考訳（メタデータ） (2024-12-09T04:56:43Z)
• AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning [0.0]
  本稿では,効率的な文書検索と推論のためのトピックモデリングを取り入れた新しい多段階RAGAT-RAGを提案する。 BERTopicを用いてクエリにトピックを動的に割り当て,検索精度と効率を向上する。 その結果,既存手法に比べて精度,完全性,妥当性が著しく向上した。
  論文  参考訳（メタデータ） (2024-10-16T01:57:56Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
  RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。 重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。 文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T15:15:33Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
  検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる 既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。 本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)
• MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries [22.4349439498591]
  Retrieval-augmented Generation (RAG)は、関連する知識を検索することで、大きな言語モデル(LLM)を拡張する。 既存のRAGシステムはマルチホップクエリに応答するには不十分であり、複数の証拠を検索して推論する必要がある。 我々は,知識ベース,多数のマルチホップクエリのコレクション,基礎的回答,関連する支持証拠からなる新しいデータセットであるMultiHop-RAGを開発した。
  論文  参考訳（メタデータ） (2024-01-27T11:41:48Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。