論文の概要: MacRAG: Compress, Slice, and Scale-up for Multi-Scale Adaptive Context RAG

• arxiv url: http://arxiv.org/abs/2505.06569v1
• Date: Sat, 10 May 2025 08:50:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.916085
• Title: MacRAG: Compress, Slice, and Scale-up for Multi-Scale Adaptive Context RAG
• Title（参考訳）: MacRAG: マルチスケール適応コンテキストRAGのための圧縮、スライス、スケールアップ
• Authors: Woosang Lim, Zekun Li, Gyuwan Kim, Sungyoung Ji, HyeonJung Kim, Kyuri Choi, Jin Hyuk Lim, Kyungpyo Park, William Yang Wang,
• Abstract要約: Multi-scale Adaptive Context RAG (MacRAG) は、文書を粗い粒度に圧縮して分割する階層的な検索フレームワークである。 MacRAGは効率的なクエリ固有長コンテキストを構築し、精度とカバレッジの両方を最適化する。 本研究は,MacRAGを実世界の長文マルチホップ推論のための効率的でスケーラブルなソリューションとして確立した。
• 参考スコア（独自算出の注目度）: 45.319085406042966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context (LC) Large Language Models (LLMs) combined with Retrieval-Augmented Generation (RAG) hold strong potential for complex multi-hop and large-document tasks. However, existing RAG systems often suffer from imprecise retrieval, incomplete context coverage under constrained context windows, and fragmented information caused by suboptimal context construction. We introduce Multi-scale Adaptive Context RAG (MacRAG), a hierarchical retrieval framework that compresses and partitions documents into coarse-to-fine granularities, then adaptively merges relevant contexts through chunk- and document-level expansions in real time. By starting from the finest-level retrieval and progressively incorporating higher-level and broader context, MacRAG constructs effective query-specific long contexts, optimizing both precision and coverage. Evaluations on the challenging LongBench expansions of HotpotQA, 2WikiMultihopQA, and Musique confirm that MacRAG consistently surpasses baseline RAG pipelines on single- and multi-step generation with Llama-3.1-8B, Gemini-1.5-pro, and GPT-4o. Our results establish MacRAG as an efficient, scalable solution for real-world long-context, multi-hop reasoning. Our code is available at https://github.com/Leezekun/MacRAG.
• Abstract（参考訳）: Long-context (LC) Large Language Models (LLMs) とRetrieval-Augmented Generation (RAG) が組み合わさって、複雑なマルチホップや大規模ドキュメントタスクに強い可能性を秘めている。 しかしながら、既存のRAGシステムは、不正確な検索、制約付きコンテキストウィンドウ下での不完全なコンテキストカバレッジ、最適でないコンテキスト構成によって引き起こされる断片化された情報に悩まされることが多い。 文書を粗粒度に圧縮・分割する階層的検索フレームワークであるMulti-scale Adaptive Context RAG(MacRAG)を導入し,チャンクレベルおよび文書レベルの拡張によって関連コンテキストを適応的にマージする。 最高のレベルの検索から始めて、より高レベルで広範なコンテキストを徐々に取り入れることで、MacRAGは効率的なクエリ固有の長いコンテキストを構築し、精度とカバレッジの両方を最適化する。 HotpotQA、2WikiMultihopQA、MusiqueのLongBench拡張に関する評価では、MacRAGはLlama-3.1-8B、Gemini-1.5-pro、GPT-4oの単一および複数ステップ生成において、ベースラインのRAGパイプラインを一貫して上回っている。 本研究は,MacRAGを実世界の長文マルチホップ推論のための効率的でスケーラブルなソリューションとして確立した。 私たちのコードはhttps://github.com/Leezekun/MacRAG.comで公開されています。

関連論文リスト

• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering [27.114593394058144]
  LongRAGはLCQAのための汎用的で双対的かつ堅牢なLCMベースのRAGシステムパラダイムである。 LongRAGは長文LLM(6.94%増)、アドバンストRAG(6.16%増)、バニラRAG(17.25%増)を大きく上回る
  論文  参考訳（メタデータ） (2024-10-23T17:24:58Z)
• MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
  Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities [53.97515452727115]
  ChatQA 2は、128Kコンテキストウィンドウを備えたLlama 3.0ベースのモデルである。 Llama3-70Bベースのコンテキストウィンドウを8Kから128Kまで拡張するためのトレーニングレシピを提案する。 RAGを用いた長文LLMの性能は,多数のチャンクを検索した場合に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-19T17:35:47Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。