論文の概要: HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
- arxiv url: http://arxiv.org/abs/2405.14831v1
- Date: Thu, 23 May 2024 17:47:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 13:37:09.715978
- Title: HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
- Title(参考訳): HippoRAG: 大規模言語モデルのための神経生物学的にヒントを得た長期記憶
- Authors: Bernal Jiménez Gutiérrez, Yiheng Shu, Yu Gu, Michihiro Yasunaga, Yu Su,
- Abstract要約: 我々は,ヒトの長期記憶の海馬索引付け理論に触発された新しい検索フレームワークであるHippoRAGを紹介する。
その結果,本手法は最先端の手法を最大20%向上させることができた。
提案手法は,既存の手法に及ばない新たなシナリオに対処することができる。
- 参考スコア(独自算出の注目度): 24.529215038221956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language models (LLMs), even with retrieval-augmented generation (RAG), still struggle to efficiently and effectively integrate a large amount of new experiences after pre-training. In this work, we introduce HippoRAG, a novel retrieval framework inspired by the hippocampal indexing theory of human long-term memory to enable deeper and more efficient knowledge integration over new experiences. HippoRAG synergistically orchestrates LLMs, knowledge graphs, and the Personalized PageRank algorithm to mimic the different roles of neocortex and hippocampus in human memory. We compare HippoRAG with existing RAG methods on multi-hop question answering and show that our method outperforms the state-of-the-art methods remarkably, by up to 20%. Single-step retrieval with HippoRAG achieves comparable or better performance than iterative retrieval like IRCoT while being 10-30 times cheaper and 6-13 times faster, and integrating HippoRAG into IRCoT brings further substantial gains. Finally, we show that our method can tackle new types of scenarios that are out of reach of existing methods. Code and data are available at https://github.com/OSU-NLP-Group/HippoRAG.
- Abstract(参考訳): 敵対的かつ絶え間なく変化する自然環境の中で育つために、哺乳類の脳は世界に関する大量の知識を蓄積し、破滅的な忘れ物を避けながら、新しい情報を継続的に統合するように進化した。
印象的な成果にもかかわらず、大規模な言語モデル(LLM)は、検索強化世代(RAG)でさえ、事前トレーニング後の大量の新しい体験を効率的に効果的に統合することに苦慮している。
本研究では,ヒトの長期記憶の海馬索引付け理論にインスパイアされた新しい検索フレームワークであるHippoRAGを紹介し,新しい体験よりも深い,より効率的な知識統合を実現する。
HippoRAGは、LLM、知識グラフ、およびパーソナライズされたPageRankアルゴリズムを相乗的にオーケストレーションし、ヒト記憶における新皮質と海馬の異なる役割を模倣する。
マルチホップ質問応答における既存のRAG法とHippoRAGを比較し,提案手法が最先端手法を最大20%向上させることを示す。
HippoRAGによるシングルステップの検索は、IRCoTのような反復的な検索に比べて10~30倍のコストと6~13倍の高速化を実現し、HippoRAGをIRCoTに組み込むことで、さらに大幅に向上する。
最後に,提案手法は既存手法に及ばない新たなシナリオに対処可能であることを示す。
コードとデータはhttps://github.com/OSU-NLP-Group/HippoRAGで公開されている。
関連論文リスト
- Human-like Episodic Memory for Infinite Context LLMs [13.211261438927798]
EM-LLMは,ヒトのエピソード記憶と事象認識の重要な側面を大きな言語モデルに統合する新しいアプローチである。
EM-LLMは、ベイジアン・サプライズとグラフ理論境界修正の組み合わせを用いて、トークンの列をコヒーレントなエピソード事象に整理する。
LongBenchデータセットの実験では、EM-LLMのパフォーマンスが向上し、最先端のInfLLMモデルを上回っている。
論文 参考訳(メタデータ) (2024-07-12T17:34:03Z) - Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts [39.47316836096974]
我々は、類似性は必ずしもパナセアではなく、類似性に完全に依存することは、時として検索拡張生成の性能を低下させるであろうと論じている。
我々はMulti layEred ThoughtsEnhanced Retrieval Augmented GenerationフレームワークであるMetRagを提案する。
論文 参考訳(メタデータ) (2024-05-30T09:50:38Z) - ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。
固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。
提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文 参考訳(メタデータ) (2024-05-15T13:22:39Z) - Recursively Summarizing Enables Long-Term Dialogue Memory in Large
Language Models [75.98775135321355]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。
本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文 参考訳(メタデータ) (2023-08-29T04:59:53Z) - Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。
提案するRACoは,他の知識強化手法よりも優れる。
論文 参考訳(メタデータ) (2022-10-23T23:49:08Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Representation Memorization for Fast Learning New Knowledge without
Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。
新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。
本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文 参考訳(メタデータ) (2021-08-28T07:54:53Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳(メタデータ) (2021-03-08T11:52:51Z) - One-shot learning for the long term: consolidation with an artificial
hippocampal algorithm [0.0]
従来の概念を忘れることなく、将来的な知識を同化して、少人数の学習は長期的なものであるべきだと我々は主張する。
人工海馬アルゴリズムであるAHAが,新皮質に類似した従来のMLモデルで使用できるかどうかを検討した。
結果は、ahaの追加により、システムはワンショットで学習し、破滅的な忘れることなく長期的な知識を統合できることを示した。
論文 参考訳(メタデータ) (2021-02-15T12:07:26Z) - Continual Learning for Natural Language Generation in Task-oriented
Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。
我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。
この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文 参考訳(メタデータ) (2020-10-02T10:32:29Z) - Adversarial Mutual Information for Text Generation [62.974883143784616]
本稿では,テキスト生成フレームワーク(AMI:Adversarial Mutual Information)を提案する。
AMIは、ソースとターゲット間の共同相互作用を特定することを目的とした、新しいサドル点(min-max)最適化として形成される。
AMIは、最大相互情報のより狭い範囲に導かれる可能性があることを示す。
論文 参考訳(メタデータ) (2020-06-30T19:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。