論文の概要: FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG

• arxiv url: http://arxiv.org/abs/2410.10293v2
• Date: Thu, 23 Jan 2025 02:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:37.047907
• Title: FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG
• Title（参考訳）: FunnelRAG:RAGのための粗大なプログレッシブ検索パラダイム
• Authors: Xinping Zhao, Yan Zhong, Zetian Sun, Xinshuo Hu, Zhenyu Liu, Dongfang Li, Baotian Hu, Min Zhang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 本稿では,RAGの粒度が粗いプログレッシブ検索パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 22.4664221738095
• License:
• Abstract: Retrieval-Augmented Generation (RAG) prevails in Large Language Models. It mainly consists of retrieval and generation. The retrieval modules (a.k.a. retrievers) aim to find useful information used to facilitate generation modules (a.k.a. generators). As such, generators' performance largely depends on the effectiveness and efficiency of retrievers. However, the retrieval paradigm that we design and use remains flat, which treats the retrieval procedures as a one-off deal with constant granularity. Despite effectiveness, we argue that they suffer from two limitations: (1) flat retrieval exerts a significant burden on one retriever; (2) constant granularity limits the ceiling of retrieval performance. In this work, we propose a progressive retrieval paradigm with coarse-to-fine granularity for RAG, termed FunnelRAG, so as to balance effectiveness and efficiency. Specifically, FunnelRAG establishes a progressive retrieval pipeline by collaborating coarse-to-fine granularity, large-to-small quantity, and low-to-high capacity, which can relieve the burden on one retriever and also promote the ceiling of retrieval performance. Extensive experiments manifest that FunnelRAG achieves comparable retrieval performance while the time overhead is reduced by nearly 40 percent.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。 主に検索と生成で構成されている。 検索モジュール(a.k. retrievers)は、生成モジュール(a.k.generators)を容易にするための有用な情報を見つけることを目的としている。 そのため、発電機の性能は、レトリバーの有効性と効率に大きく依存する。 しかし、我々が設計し、使用する検索パラダイムは依然として平坦であり、検索手順を一定の粒度のワンオフ処理として扱う。 有効性にも拘わらず,1) 平坦な検索が1つのレトリバーに重大な負担を及ぼすこと,(2) 一定の粒度が検索性能の上限を制限すること,の2つの限界に悩まされていることを論じる。 本研究では,FunnelRAGと呼ばれるRAGの粒度が粗いプログレッシブ検索パラダイムを提案し,効率と効率のバランスをとる。 特に、FunnelRAGは、粗粒度、大小容量、低大容量を協調して進行性検索パイプラインを確立し、1つのレトリバーの負担を軽減し、検索性能の天井を促進させる。 大規模な実験では、FunnelRAGは同等の検索性能を達成し、時間オーバーヘッドは40%近く削減された。

関連論文リスト

• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays! [6.34946724864899]
  本稿では,3つの符号化タスクにおけるレトリバーの効率効率性トレードオフを系統的に評価する。 BM25は有効性は優れているが,知識ベースが1000を超えると効率が低下する。 大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
  論文  参考訳（メタデータ） (2024-10-12T22:31:01Z)
• Preference-Guided Refactored Tuning for Retrieval Augmented Code Generation [10.736876118242384]
  本稿では,効率的なコード生成のための新しいフレームワークであるRRG(Retrieve, Refactor, Generate)を提案する。 このフレームワークは、レトリバーとジェネレータの間にコードソースモジュールを導入し、それらをブリッジする。 RRGは、EMでは28%、BLEUでは13%、CodeBLEUでは6.8%に向上した。
  論文  参考訳（メタデータ） (2024-09-24T09:15:37Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
  Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。 既存のアクティブ検索手法は2つの課題に直面している。 彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。 それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
  論文  参考訳（メタデータ） (2024-06-18T12:09:02Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。