Fugu-MT 論文翻訳(概要): HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

論文の概要: HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

arxiv url: http://arxiv.org/abs/2405.14831v1
Date: Thu, 23 May 2024 17:47:55 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 13:37:09.715978
Title: HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
Title（参考訳）: HippoRAG: 大規模言語モデルのための神経生物学的にヒントを得た長期記憶
Authors: Bernal Jiménez Gutiérrez, Yiheng Shu, Yu Gu, Michihiro Yasunaga, Yu Su,
Abstract要約: 我々は,ヒトの長期記憶の海馬索引付け理論に触発された新しい検索フレームワークであるHippoRAGを紹介する。その結果,本手法は最先端の手法を最大20%向上させることができた。提案手法は,既存の手法に及ばない新たなシナリオに対処することができる。
参考スコア（独自算出の注目度）: 24.529215038221956
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language models (LLMs), even with retrieval-augmented generation (RAG), still struggle to efficiently and effectively integrate a large amount of new experiences after pre-training. In this work, we introduce HippoRAG, a novel retrieval framework inspired by the hippocampal indexing theory of human long-term memory to enable deeper and more efficient knowledge integration over new experiences. HippoRAG synergistically orchestrates LLMs, knowledge graphs, and the Personalized PageRank algorithm to mimic the different roles of neocortex and hippocampus in human memory. We compare HippoRAG with existing RAG methods on multi-hop question answering and show that our method outperforms the state-of-the-art methods remarkably, by up to 20%. Single-step retrieval with HippoRAG achieves comparable or better performance than iterative retrieval like IRCoT while being 10-30 times cheaper and 6-13 times faster, and integrating HippoRAG into IRCoT brings further substantial gains. Finally, we show that our method can tackle new types of scenarios that are out of reach of existing methods. Code and data are available at https://github.com/OSU-NLP-Group/HippoRAG.
Abstract（参考訳）: 敵対的かつ絶え間なく変化する自然環境の中で育つために、哺乳類の脳は世界に関する大量の知識を蓄積し、破滅的な忘れ物を避けながら、新しい情報を継続的に統合するように進化した。印象的な成果にもかかわらず、大規模な言語モデル(LLM)は、検索強化世代(RAG)でさえ、事前トレーニング後の大量の新しい体験を効率的に効果的に統合することに苦慮している。本研究では,ヒトの長期記憶の海馬索引付け理論にインスパイアされた新しい検索フレームワークであるHippoRAGを紹介し,新しい体験よりも深い,より効率的な知識統合を実現する。 HippoRAGは、LLM、知識グラフ、およびパーソナライズされたPageRankアルゴリズムを相乗的にオーケストレーションし、ヒト記憶における新皮質と海馬の異なる役割を模倣する。マルチホップ質問応答における既存のRAG法とHippoRAGを比較し,提案手法が最先端手法を最大20%向上させることを示す。 HippoRAGによるシングルステップの検索は、IRCoTのような反復的な検索に比べて10～30倍のコストと6～13倍の高速化を実現し、HippoRAGをIRCoTに組み込むことで、さらに大幅に向上する。最後に,提案手法は既存手法に及ばない新たなシナリオに対処可能であることを示す。コードとデータはhttps://github.com/OSU-NLP-Group/HippoRAGで公開されている。

関連論文リスト

P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。自然言語命令は明示的なタスクプランニングを欠くことが多い。タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
論文参考訳（メタデータ） (2024-09-17T15:29:34Z)
RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文参考訳（メタデータ） (2024-08-21T07:20:48Z)
Human-like Episodic Memory for Infinite Context LLMs [13.211261438927798]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、それでも広範なコンテキストの処理に苦戦している。本研究では,人間のエピソード記憶と事象認知をLLMに組み込む新しいアプローチであるEM-LLMを紹介する。 EM-LLMは、ベイジアン・サプライズとグラフ理論境界修正の組み合わせを用いて、トークンの列をコヒーレントなエピソード事象に整理する。
論文参考訳（メタデータ） (2024-07-12T17:34:03Z)
Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts [39.47316836096974]
我々は、類似性は必ずしもパナセアではなく、類似性に完全に依存することは、時として検索拡張生成の性能を低下させるであろうと論じている。我々はMulti layEred ThoughtsEnhanced Retrieval Augmented GenerationフレームワークであるMetRagを提案する。
論文参考訳（メタデータ） (2024-05-30T09:50:38Z)
ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文参考訳（メタデータ） (2024-05-15T13:22:39Z)
Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文参考訳（メタデータ） (2023-08-29T04:59:53Z)
Retrieval Augmentation for Commonsense Reasoning: A Unified Approach [64.63071051375289]
検索強化コモンセンス推論(RACo)の統一的枠組みを提案する。提案するRACoは,他の知識強化手法よりも優れる。
論文参考訳（メタデータ） (2022-10-23T23:49:08Z)
Representation Memorization for Fast Learning New Knowledge without Forgetting [36.55736909586313]
新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
論文参考訳（メタデータ） (2021-08-28T07:54:53Z)
Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文参考訳（メタデータ） (2021-03-08T11:52:51Z)
One-shot learning for the long term: consolidation with an artificial hippocampal algorithm [0.0]
従来の概念を忘れることなく、将来的な知識を同化して、少人数の学習は長期的なものであるべきだと我々は主張する。人工海馬アルゴリズムであるAHAが,新皮質に類似した従来のMLモデルで使用できるかどうかを検討した。結果は、ahaの追加により、システムはワンショットで学習し、破滅的な忘れることなく長期的な知識を統合できることを示した。
論文参考訳（メタデータ） (2021-02-15T12:07:26Z)
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文参考訳（メタデータ） (2020-10-02T10:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。