論文の概要: FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG

• arxiv url: http://arxiv.org/abs/2410.10293v1
• Date: Mon, 14 Oct 2024 08:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 22:34:36.393566
• Title: FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG
• Title（参考訳）: FunnelRAG:RAGのための粗大なプログレッシブ検索パラダイム
• Authors: Xinping Zhao, Yan Zhong, Zetian Sun, Xinshuo Hu, Zhenyu Liu, Dongfang Li, Baotian Hu, Min Zhang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 本稿では,RAGの粒度が粗いプログレッシブ検索パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 22.4664221738095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) prevails in Large Language Models. It mainly consists of retrieval and generation. The retrieval modules (a.k.a. retrievers) aim to find useful information used to facilitate generation modules (a.k.a. generators). As such, generators' performance largely depends on the effectiveness and efficiency of retrievers. However, the retrieval paradigm that we design and use remains flat, which treats the retrieval procedures as a one-off deal with constant granularity. Despite effectiveness, we argue that they suffer from two limitations: (1) flat retrieval exerts a significant burden on one retriever; (2) constant granularity limits the ceiling of retrieval performance. In this work, we propose a progressive retrieval paradigm with coarse-to-fine granularity for RAG, termed FunnelRAG, so as to balance effectiveness and efficiency. Specifically, FunnelRAG establishes a progressive retrieval pipeline by collaborating coarse-to-fine granularity, large-to-small quantity, and low-to-high capacity, which can relieve the burden on one retriever and also promote the ceiling of retrieval performance. Extensive experiments manifest that FunnelRAG achieves comparable retrieval performance while the time overhead is reduced by nearly 40 percent.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 主に検索と生成で構成されている。 検索モジュール(a.k. retrievers)は、生成モジュール(a.k.generators)を容易にするための有用な情報を見つけることを目的としている。 そのため、発電機の性能は、レトリバーの有効性と効率に大きく依存する。 しかし、我々が設計し、使用する検索パラダイムは依然として平坦であり、検索手順を一定の粒度のワンオフ処理として扱う。 有効性にも拘わらず,1) 平坦な検索が1つのレトリバーに重大な負担を及ぼすこと,(2) 一定の粒度が検索性能の上限を制限すること,の2つの限界に悩まされていることを論じる。 本研究では,FunnelRAGと呼ばれるRAGの粒度が粗いプログレッシブ検索パラダイムを提案し,効率と効率のバランスをとる。 特に、FunnelRAGは、粗粒度、大小容量、低大容量を協調して進行性検索パイプラインを確立し、1つのレトリバーの負担を軽減し、検索性能の天井を促進させる。 大規模な実験では、FunnelRAGは同等の検索性能を達成し、時間オーバーヘッドは40%近く削減された。

関連論文リスト

• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation [7.552430488883876]
  マルチステージチューニング戦略を用いて,検索器の性能を対象領域に適応させるシステムを提案する。 RIRAGチャレンジ用にリリースされたデータセット上で、システムパフォーマンスをベンチマークする。 我々は、RegNLPチャレンジリーダーボードのトップランクを獲得することで、大きなパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-12-13T17:53:29Z)
• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays! [6.34946724864899]
  本稿では,3つの符号化タスクにおけるレトリバーの効率効率性トレードオフを系統的に評価する。 BM25は有効性は優れているが,知識ベースが1000を超えると効率が低下する。 大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
  論文  参考訳（メタデータ） (2024-10-12T22:31:01Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。