論文の概要: LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

• arxiv url: http://arxiv.org/abs/2406.15319v3
• Date: Sun, 1 Sep 2024 17:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:41:09.078844
• Title: LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
• Title（参考訳）: LongRAG:Long-context LLMを用いた検索拡張ジェネレーションの実現
• Authors: Ziyan Jiang, Xueguang Ma, Wenhu Chen,
• Abstract要約: 従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 不均衡なヘビーレトリバーとライトのリーダー設計は、準最適性能をもたらす可能性がある。 ロングレトリバーとロングリーダで構成される新しいフレームワークであるLongRAGを提案する。
• 参考スコア（独自算出の注目度）: 48.8849121506693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In traditional RAG framework, the basic retrieval units are normally short. The common retrievers like DPR normally work with 100-word Wikipedia paragraphs. Such a design forces the retriever to search over a large corpus to find the `needle' unit. In contrast, the readers only need to generate answers from the short retrieved units. The imbalanced `heavy' retriever and `light' reader design can lead to sub-optimal performance. The loss of contextual information in the short, chunked units may increase the likelihood of introducing hard negatives during the retrieval stage. Additionally, the reader might not fully leverage the capabilities of recent advancements in LLMs. In order to alleviate the imbalance, we propose a new framework LongRAG, consisting of a `long retriever' and a `long reader'. In the two Wikipedia-based datasets, NQ and HotpotQA, LongRAG processes the entire Wikipedia corpus into 4K-token units by grouping related documents. By increasing the unit size, we significantly reduce the total number of units. This greatly reduces the burden on the retriever, resulting in strong retrieval performance with only a few (less than 8) top units. Without requiring any training, LongRAG achieves an EM of 62.7% on NQ and 64.3% on HotpotQA, which are on par with the (fully-trained) SoTA model. Furthermore, we test on two non-Wikipedia-based datasets, Qasper and MultiFieldQA-en. LongRAG processes each individual document as a single (long) unit rather than chunking them into smaller units. By doing so, we achieve an F1 score of 25.9% on Qasper and 57.5% on MultiFieldQA-en. Our study offers insights into the future roadmap for combining RAG with long-context LLMs.
• Abstract（参考訳）: 従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 DPRのような一般的なレトリバーは、通常100ワードのウィキペディアの段落で機能する。 このような設計は、レトリバーが大きなコーパスを探索して 'needle' ユニットを見つけることを強制する。 対照的に、読者は短い検索単位からのみ回答を生成する必要がある。 不均衡な 'heavy' レトリバーと 'light' リーダの設計は、準最適パフォーマンスをもたらす可能性がある。 短時間のチャンク単位における文脈情報の喪失は、検索段階でハードネガティブを導入する可能性を高める可能性がある。 さらに、読者は最近のLLMの進歩の能力を十分に活用できないかもしれない。 本研究では,この不均衡を緩和するために,「ロングレトリバー」と「ロングレトリバー」からなる新しいフレームワークであるLongRAGを提案する。 NQとHotpotQAという2つのウィキペディアベースのデータセットにおいて、LongRAGは関連する文書をグループ化してウィキペディアのコーパス全体を4Kトークン単位に処理する。 ユニットサイズを増大させることで、ユニットの総数を大幅に削減する。 これにより、レトリバーの負担を大幅に低減し、トップユニットがわずかに(8単位未満)の強い検索性能が得られる。 トレーニングを必要とせずに、LongRAGはNQで62.7%、HotpotQAで64.3%のEMを達成している。 さらに、Wikipediaをベースとしない2つのデータセット、QasperとMultiFieldQA-enをテストする。 LongRAGは個々のドキュメントを小さな単位に分割するのではなく、単一の(長い)単位として処理する。 これにより、Qasperで25.9%、MultiFieldQA-enで57.5%のF1スコアが得られる。 本稿では,RAGと長期LLMを組み合わせるための今後のロードマップについて考察する。

関連論文リスト

• Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs [12.878608250420832]
  長文大域要約のためのRAGを強化するために,レコードのテキストグラフ(textbfGoR)を提案する。 RAG のtextitretrieve-then-generate パラダイムに着想を得て,検索したテキストチャンクと対応する LLM 生成応答のエッジを確立することでグラフを構築する。 それら間の複雑な相関関係を明らかにするために、GoRは、テキストトグラフニューラルネットワークと、自己教師型モデルトレーニングのための、精巧に設計されたTextitBERTScoreベースの目的を特徴としている。
  論文  参考訳（メタデータ） (2024-10-14T18:34:29Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Efficient Long-range Language Modeling with Self-supervised Causal Retrieval [39.24972628990943]
  Grouped Cross-Attentionは、レトリバーと因果LMの協調事前トレーニングを可能にする新しいモジュールである。 トップ$kの検索を統合することで、コンテキスト長を最大64Kのトークンでスクラッチから効率的に事前トレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2024-10-02T15:18:34Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Is Retriever Merely an Approximator of Reader? [27.306407064073177]
  読み手と受け手は,精度の点でのみ相補的であることを示す。 我々は,レトリバーにリーダを蒸留し,レトリバーが読者の強度を吸収し,自身の利益を維持することを提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。