論文の概要: MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

• arxiv url: http://arxiv.org/abs/2409.05591v3
• Date: Wed, 09 Apr 2025 09:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 01:18:37.509198
• Title: MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
• Title（参考訳）: MemoRAG:グローバルメモリ拡張検索拡張による長期コンテキスト処理の強化
• Authors: Hongjin Qian, Zheng Liu, Peitian Zhang, Kelong Mao, Defu Lian, Zhicheng Dou, Tiejun Huang,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 60.04380907045708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality's Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.
• Abstract（参考訳）: 長いコンテキストを処理することは、大きな言語モデル(LLM)にとって大きな課題となる。 最近の進歩により、LLMは以前よりもずっと長いコンテキスト(例えば32Kや128Kトークン)を扱えるようになったが、計算的に高価であり、多くのアプリケーションにはまだ不十分である。 Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 しかし、従来のRAG法は2つの基本的な要件のために固有の制限に直面している。 1)明示されたクエリ、および 2) よく構造化された知識。 しかし、これらの条件は一般的な長文処理タスクには当てはまらない。 本研究では,グローバルメモリ拡張検索による新たなRAGフレームワークであるMemoRAGを提案する。 MemoRAGはデュアルシステムアーキテクチャを備えている。 まず、Longコンテキストのグローバルメモリを作成するために、軽量だが長距離システムを使用する。 タスクが提示されると、ドラフト回答を生成し、検索ツールが関連する情報を長いコンテキスト内で見つけるための有用な手がかりを提供する。 第二に、高価だが表現力のあるシステムを利用して、検索した情報に基づいて最終回答を生成する。 この基本的枠組みに基づいて、メモリモジュールをKV圧縮の形で実現し、生成品質フィードバック(RLGF)から記憶とクレーリング能力を強化する。 実験では,従来のRAGメソッドが苦労する複雑なシナリオだけでなく,RAGが一般的に適用される単純なシナリオにおいても,様々な長時間コンテキスト評価タスクにおいて優れたパフォーマンスを実現している。

関連論文リスト

• Insight-RAG: Enhancing LLMs with Insight-Driven Augmentation [4.390998479503661]
  本稿では,インサイトに基づく文書検索のための新しいフレームワークであるInsight-RAGを提案する。 Insight-RAG の初期段階では,従来の検索手法の代わりに LLM を用いて入力クエリとタスクを解析する。 従来のRAG手法と同様に、元のクエリを抽出した洞察と統合することにより、最終的なLCMを用いて、文脈的に豊かで正確な応答を生成する。
  論文  参考訳（メタデータ） (2025-03-31T19:50:27Z)
• Tuning LLMs by RAG Principles: Towards LLM-native Memory [27.236930156936356]
  メモリを生成プロセスに組み込む2つの主要なソリューションは、長文LLMと検索拡張生成(RAG)である。 本稿では,3つの更新/更新データセットに対して,これらの2種類の解を系統的に比較する。 本稿では,RAG法則に従って生成されたデータを用いて,相対的に小さい (例えば7B) LLM を微調整するRAG-Tuned-LLMを提案する。
  論文  参考訳（メタデータ） (2025-03-20T12:04:40Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering [27.114593394058144]
  LongRAGはLCQAのための汎用的で双対的かつ堅牢なLCMベースのRAGシステムパラダイムである。 LongRAGは長文LLM(6.94%増)、アドバンストRAG(6.16%増)、バニラRAG(17.25%増)を大きく上回る
  論文  参考訳（メタデータ） (2024-10-23T17:24:58Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では,視覚言語モデル(VLM)に基づくRAGパイプラインを構築することで,この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation [3.2027710059627545]
  検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。 GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。 我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
  論文  参考訳（メタデータ） (2024-09-23T21:42:47Z)
• Better RAG using Relevant Information Gain [1.5604249682593647]
  大きな言語モデル(LLM)のメモリを拡張する一般的な方法は、検索拡張生成(RAG)である。 本稿では,検索結果の集合に対するクエリに関連する総情報の確率的尺度である,関連情報ゲインに基づく新しい単純な最適化指標を提案する。 RAGシステムの検索コンポーネントのドロップイン置換として使用すると、質問応答タスクにおける最先端のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2024-07-16T18:09:21Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
  検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる 既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。 本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。