論文の概要: Long Context vs. RAG for LLMs: An Evaluation and Revisits

• arxiv url: http://arxiv.org/abs/2501.01880v1
• Date: Fri, 27 Dec 2024 14:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-12 03:17:03.720132
• Title: Long Context vs. RAG for LLMs: An Evaluation and Revisits
• Title（参考訳）: LLMにおけるLong Context vs. RAG:評価と再考
• Authors: Xinze Li, Yixin Cao, Yubo Ma, Aixin Sun,
• Abstract要約: 本稿は、このトピックに関する最近の研究を再考し、その重要な洞察と相違点を明らかにする。 LCは、特にウィキペディアベースの質問に対して、質問応答ベンチマークにおいてRAGよりも優れていた。 また,既存の研究における文脈関連性の重要性を概観する,詳細な議論もおこなう。
• 参考スコア（独自算出の注目度）: 41.27137478456755
• License:
• Abstract: Extending context windows (i.e., Long Context, LC) and using retrievers to selectively access relevant information (i.e., Retrieval-Augmented Generation, RAG) are the two main strategies to enable LLMs to incorporate extremely long external contexts. This paper revisits recent studies on this topic, highlighting their key insights and discrepancies. We then provide a more comprehensive evaluation by filtering out questions answerable without external context, identifying the most effective retrieval methods, and expanding the datasets. We show that LC generally outperforms RAG in question-answering benchmarks, especially for Wikipedia-based questions. Summarization-based retrieval performs comparably to LC, while chunk-based retrieval lags behind. However, RAG has advantages in dialogue-based and general question queries. These insights underscore the trade-offs between RAG and LC strategies, offering guidance for future optimization of LLMs with external knowledge sources. We also provide an in-depth discussion on this topic, highlighting the overlooked importance of context relevance in existing studies.
• Abstract（参考訳）: コンテキストウィンドウの拡張(Long Context, LC)と、関連する情報(Retrieval-Augmented Generation, RAG)を選択的にアクセスするためのレトリバーの使用は、LLMが極めて長い外部コンテキストを組み込むことを可能にする2つの主要な戦略である。 本稿は、このトピックに関する最近の研究を再考し、その重要な洞察と相違点を明らかにする。 次に、外部コンテキストなしで回答可能な質問をフィルタリングし、最も効果的な検索方法を特定し、データセットを拡張することで、より包括的な評価を行う。 LCは、特にウィキペディアベースの質問に対して、質問応答ベンチマークにおいてRAGよりも優れていた。 要約に基づく検索はLCと同等に動作し、チャンクベースの検索は遅れる。 しかし、RAGは対話型および一般的な質問クエリにおいて利点がある。 これらの知見は、RAGとLC戦略のトレードオフを浮き彫りにして、外部知識ソースによるLCMの将来の最適化のためのガイダンスを提供する。 また,既存の研究における文脈関連性の重要性を概観する,詳細な議論もおこなう。

関連論文リスト

• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs - No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文を対象とした2,326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• In Defense of RAG in the Era of Long-Context Language Models [17.397639724806364]
  Retrieval-augmented Generation (RAG) は、過去においてコンテキストベースの回答生成の信頼性の高いソリューションである。 近年の研究では、長文LLMは長文アプリケーションにおいてRAGを著しく上回っていることが示されている。 本稿では,長文質問応答アプリケーションにおけるRAGの性能を大幅に向上させる命令保存検索拡張生成(OP-RAG)機構を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:17:41Z)
• Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
  本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。 高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
  論文  参考訳（メタデータ） (2024-03-23T00:49:40Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。