論文の概要: From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.14802v1
• Date: Thu, 20 Feb 2025 18:26:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:41.387584
• Title: From RAG to Memory: Non-Parametric Continual Learning for Large Language Models
• Title（参考訳）: RAGからメモリへ:大規模言語モデルのための非パラメトリック連続学習
• Authors: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su,
• Abstract要約: 検索強化世代(RAG)は、新しい情報を導入する主要な方法となっている。 最近のRAGは、知識グラフのような様々な構造を持つベクトル埋め込みを拡大して、いくつかのギャップ、すなわちセンスメイキングと連想性に対処している。 我々は,現実的,感覚的,連想的なメモリタスクにおいて,標準RAGを総合的に上回るフレームワークであるHippoRAG 2を提案する。
• 参考スコア（独自算出の注目度）: 6.380729797938521
• License:
• Abstract: Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.
• Abstract（参考訳）: 知識を継続的に獲得し、組織化し、活用する私たちの能力は、AIシステムがその潜在能力を最大限に解き放つために近似する必要がある人間の知性の重要な特徴である。 大規模言語モデル(LLM)による連続学習の課題を踏まえ,検索強化世代(RAG)が新たな情報導入の主流となっている。 しかし、ベクトル検索に依存しているため、人間の長期記憶の動的で相互に繋がる性質を模倣することができない。 最近のRAGは、知識グラフのような様々な構造を持つベクトル埋め込みを拡張し、これらのギャップのいくつか、すなわちセンスメイキングと連想性に対処する。 しかし、より基本的なメモリタスクにおけるパフォーマンスは、標準的なRAGよりもかなり低い。 我々は、この意図しない劣化に対処し、現実的、感覚的、連想的なメモリタスクにおいて、標準RAGを総合的に上回るフレームワークであるHippoRAG 2を提案する。 HippoRAG 2はHippoRAGで使用されるパーソナライズされたPageRankアルゴリズムに基づいて構築され、より深い経路統合とLLMのより効果的なオンライン利用により拡張されている。 この組み合わせにより、RAGシステムは人間の長期記憶の有効性に近づき、最先端の埋め込みモデルよりも連想記憶タスクを7%改善すると同時に、より優れた事実知識と感覚記憶能力を示す。 この研究は、LLMの非パラメトリック連続学習の道を開いた。 コードとデータはhttps://github.com/OSU-NLP-Group/HippoRAG.comで公開されます。

関連論文リスト

• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [69.01029651113386]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、250以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
  Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。 既存のRAGシステムは主に簡単な質問応答タスクに有効である。 本稿では,MemoRAGを提案する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
  大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-08-21T07:20:48Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Holistic Memory Diversification for Incremental Learning in Growing Graphs [16.483780704430405]
  目標は、以前のタスクに対する推論能力を維持しながら、新しいタスクを処理するためにグラフモデルを継続的にトレーニングすることだ。 既存の方法は、通常、メモリの多様性の重要性を無視し、以前のタスクから高品質なメモリを効果的に選択することを制限する。 本稿では,グラフにおける漸進的学習のための包括的メモリ選択・生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T16:18:15Z)
• HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models [24.529215038221956]
  我々は,ヒトの長期記憶の海馬索引付け理論に触発された新しい検索フレームワークであるHippoRAGを紹介する。 その結果,本手法は最先端の手法を最大20%向上させることができた。 提案手法は,既存の手法に及ばない新たなシナリオに対処することができる。
  論文  参考訳（メタデータ） (2024-05-23T17:47:55Z)
• RecallM: An Adaptable Memory Mechanism with Temporal Understanding for Large Language Models [3.9770715318303353]
  RecallMは、適応可能で拡張可能な長期記憶機構を備えた大規模言語モデルを提供するための新しいアーキテクチャである。 RecallM は,長期記憶に格納された知識を更新するためのベクトルデータベースよりも 4 倍有効であることを示す。 また、RecallMは、一般的な質問応答およびコンテキスト内学習タスクにおいて、競合性能を示すことを示した。
  論文  参考訳（メタデータ） (2023-07-06T02:51:54Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning [8.030924531643532]
  継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。 神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-05T14:32:47Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。