論文の概要: In Defense of RAG in the Era of Long-Context Language Models

• arxiv url: http://arxiv.org/abs/2409.01666v1
• Date: Tue, 3 Sep 2024 07:17:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:30:20.835616
• Title: In Defense of RAG in the Era of Long-Context Language Models
• Title（参考訳）: 長期言語モデルにおけるRAGの防衛
• Authors: Tan Yu, Anbang Xu, Rama Akkiraju,
• Abstract要約: Retrieval-augmented Generation (RAG) は、過去においてコンテキストベースの回答生成の信頼性の高いソリューションである。 近年の研究では、長文LLMは長文アプリケーションにおいてRAGを著しく上回っていることが示されている。 本稿では,長文質問応答アプリケーションにおけるRAGの性能を大幅に向上させる命令保存検索拡張生成(OP-RAG)機構を提案する。
• 参考スコア（独自算出の注目度）: 17.397639724806364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overcoming the limited context limitations in early-generation LLMs, retrieval-augmented generation (RAG) has been a reliable solution for context-based answer generation in the past. Recently, the emergence of long-context LLMs allows the models to incorporate much longer text sequences, making RAG less attractive. Recent studies show that long-context LLMs significantly outperform RAG in long-context applications. Unlike the existing works favoring the long-context LLM over RAG, we argue that the extremely long context in LLMs suffers from a diminished focus on relevant information and leads to potential degradation in answer quality. This paper revisits the RAG in long-context answer generation. We propose an order-preserve retrieval-augmented generation (OP-RAG) mechanism, which significantly improves the performance of RAG for long-context question-answer applications. With OP-RAG, as the number of retrieved chunks increases, the answer quality initially rises, and then declines, forming an inverted U-shaped curve. There exist sweet points where OP-RAG could achieve higher answer quality with much less tokens than long-context LLM taking the whole context as input. Extensive experiments on public benchmark demonstrate the superiority of our OP-RAG.
• Abstract（参考訳）: 初期のLLMにおける限られたコンテキスト制限を克服し、検索強化生成(RAG)は、過去においてコンテキストベースの回答生成の信頼性の高いソリューションである。 近年、長文LLMの出現により、より長いテキストシーケンスを組み込めるようになり、RAGの魅力は低下した。 近年の研究では、長文LLMは長文アプリケーションにおいてRAGを著しく上回っていることが示されている。 RAGよりもLLMの方が好まれる既存の研究とは異なり、LLMの極端に長いコンテキストは関連する情報への焦点の減少に悩まされ、答えの品質が低下する可能性があると論じている。 本稿では,長文応答生成におけるRAGの再検討を行う。 本稿では,長文質問応答アプリケーションにおけるRAGの性能を大幅に向上させる命令保存検索拡張生成(OP-RAG)機構を提案する。 OP-RAGでは、取得したチャンクの数が増加するにつれて、解答の品質は最初上昇し、その後低下し、反転したU字曲線を形成する。 OP-RAG が長文 LLM よりもはるかに少ないトークンで高い応答品質を達成できるスイートポイントが存在する。 公開ベンチマークでの大規模な実験は、OP-RAGの優位性を実証している。

関連論文リスト

• Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach [26.02167477129771]
  Retrieval Augmented Generation (RAG) は、Large Language Models (LLM) において、過度に長いコンテキストを効率的に処理するための強力なツールである。 RAGとLong-context (LC) LLMを比較し,両者の強みを活用することを目的とした。 本稿では, モデル自己回帰に基づいて, クエリをRAGやLCにルーティングする, 単純かつ効果的な手法であるSelf-Routeを提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:51:52Z)
• ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [51.587657076291]
  ChatQA 2はLlama3ベースのモデルで、オープンアクセスのLLMと主要なプロプライエタリモデルのギャップを埋めるように設計されている。 Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。 最先端の長文検索はRAGの上位kコンテキストの断片化問題を緩和できる。
  論文  参考訳（メタデータ） (2024-07-19T17:35:47Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
  本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。 高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
  論文  参考訳（メタデータ） (2024-03-23T00:49:40Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [50.408957515411096]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。