論文の概要: LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

• arxiv url: http://arxiv.org/abs/2406.15319v2
• Date: Sun, 30 Jun 2024 15:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 13:01:26.992127
• Title: LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
• Title（参考訳）: LongRAG:Long-context LLMを用いた検索拡張ジェネレーションの実現
• Authors: Ziyan Jiang, Xueguang Ma, Wenhu Chen,
• Abstract要約: 従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 LongRAGはウィキペディア全体を4Kトーケン単位に処理し、これは以前より30倍長くなる。 LongRAG は NQ 上で 62.7% の EM を達成する。
• 参考スコア（独自算出の注目度）: 48.8849121506693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In traditional RAG framework, the basic retrieval units are normally short. The common retrievers like DPR normally work with 100-word Wikipedia paragraphs. Such a design forces the retriever to search over a large corpus to find the `needle' unit. In contrast, the readers only need to extract answers from the short retrieved units. Such an imbalanced `heavy' retriever and `light' reader design can lead to sub-optimal performance. In order to alleviate the imbalance, we propose a new framework LongRAG, consisting of a `long retriever' and a `long reader'. LongRAG processes the entire Wikipedia into 4K-token units, which is 30x longer than before. By increasing the unit size, we significantly reduce the total units from 22M to 700K. This significantly lowers the burden of retriever, which leads to a remarkable retrieval score: answer recall@1=71% on NQ (previously 52%) and answer recall@2=72% (previously 47%) on HotpotQA (full-wiki). Then we feed the top-k retrieved units ($\approx$ 30K tokens) to an existing long-context LLM to perform zero-shot answer extraction. Without requiring any training, LongRAG achieves an EM of 62.7% on NQ, which is the best known result. LongRAG also achieves 64.3% on HotpotQA (full-wiki), which is on par of the SoTA model. Our study offers insights into the future roadmap for combining RAG with long-context LLMs.
• Abstract（参考訳）: 従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 DPRのような一般的なレトリバーは、通常100ワードのウィキペディアの段落で機能する。 このような設計は、レトリバーが大きなコーパスを探索して 'needle' ユニットを見つけることを強制する。 対照的に、読者は短い検索単位からのみ回答を抽出する。 このような不均衡な‘heavy’レトリバーと‘light’リーダの設計は、準最適パフォーマンスをもたらす可能性がある。 本研究では,この不均衡を緩和するために,「ロングレトリバー」と「ロングレトリバー」からなる新しいフレームワークであるLongRAGを提案する。 LongRAGはウィキペディア全体を4Kトーケン単位に処理し、これは以前より30倍長くなる。 ユニットサイズを大きくすることで、総ユニット数を2200万から700万に大幅に削減する。 回答リコール@1=71%(以前は52%)、回答リコール@2=72%(以前は47%)はHotpotQA(Full-wiki)である。 次に、取得したトップk単位($30K トークン)を既存の長文 LLM に供給し、ゼロショット応答抽出を行う。 トレーニングを必要とせずに、LongRAGはNQで62.7%のEMを達成している。 LongRAGはまた、SoTAモデルと同等のHotpotQA(Full-wiki)で64.3%を達成した。 本稿では,RAGと長期LLMを組み合わせるための今後のロードマップについて考察する。

関連論文リスト

• Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
  長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。 RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。 それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
  論文  参考訳（メタデータ） (2024-10-14T18:34:29Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Efficient Long-range Language Modeling with Self-supervised Causal Retrieval [39.24972628990943]
  Grouped Cross-Attentionは、レトリバーと因果LMの協調事前トレーニングを可能にする新しいモジュールである。 トップ$kの検索を統合することで、コンテキスト長を最大64Kのトークンでスクラッチから効率的に事前トレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2024-10-02T15:18:34Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Is Retriever Merely an Approximator of Reader? [27.306407064073177]
  読み手と受け手は,精度の点でのみ相補的であることを示す。 我々は,レトリバーにリーダを蒸留し,レトリバーが読者の強度を吸収し,自身の利益を維持することを提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。