論文の概要: Echo: A Large Language Model with Temporal Episodic Memory

• arxiv url: http://arxiv.org/abs/2502.16090v1
• Date: Sat, 22 Feb 2025 05:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:18.621172
• Title: Echo: A Large Language Model with Temporal Episodic Memory
• Title（参考訳）: Echo: 時間的エピソード記憶を備えた大規模言語モデル
• Authors: WenTao Liu, Ruohua Zhang, Aimin Zhou, Feng Gao, JiaLi Liu,
• Abstract要約: 時間的エピソードメモリで拡張された大きな言語モデルであるEchoを導入する。 実験の結果,EchoはEM-Testで最先端のLLMを大幅に上回っていることがわかった。 すべてのデータセット、コード、モデルの重み付けをオープンソースにします。
• 参考スコア（独自算出の注目度）: 10.576032603739675
• License:
• Abstract: Research on large language models (LLMs) has shown remarkable performance in domains such as mathematics, programming, and literary creation. However, most studies have focused on semantic memory-based question answering, neglecting LLMs' potential to handle episodic memory (EM)-related queries. This oversight has led to suboptimal performance in applications requiring EM, including emotional companionship, personal AI assistants, and AI teachers. To address this gap, we introduce Echo, a LLM enhanced with temporal episodic memory. We propose a Multi-Agent Data Generation Framework that guides the model in generating multi-turn, complex scenario episodic memory dialogue data (EM-Train). Temporal information is innovatively incorporated into the LLM training process, and Echo is trained using the EM-Train. Furthermore, We develop an EM-Test benchmark specifically designed to evaluate LLMs' episodic memory capabilities. The EM-Test assesses performance across various time spans and difficulty levels, providing a comprehensive evaluation of multi-turn episodic memory dialogues. Our experiments demonstrate that Echo significantly outperforms state-of-the-art LLMs on EM-Test. Additionally, a qualitative analysis reveals Echo's potential to exhibit human-like episodic memory capabilities. We will open-source all datasets, code, and model weights.
• Abstract（参考訳）: 大規模言語モデル(LLM)の研究は、数学、プログラミング、文学的創造といった分野において顕著なパフォーマンスを示している。 しかし、ほとんどの研究は、セマンティックメモリに基づく質問応答に重点を置いており、LLMがエピソジックメモリ(EM)関連クエリを処理する可能性を無視している。 この監視は、感情的な協力関係、パーソナルAIアシスタント、AI教師など、EMを必要とするアプリケーションにおいて、最適以下のパフォーマンスをもたらしている。 このギャップに対処するために、時間的エピソードメモリで拡張されたLLMであるEchoを導入する。 本稿では,EM-Train(Multi-Agent Data Generation Framework)を提案する。 時間情報はLLMトレーニングプロセスに革新的に組み込まれ、EchoはEM-Trainを使用してトレーニングされる。 さらに,LLMのエピソードメモリ能力を評価するためのEM-Testベンチマークを開発した。 EM-Testは、様々な時間帯と難易度のパフォーマンスを評価し、マルチターンエピソードメモリの対話を包括的に評価する。 実験の結果,EchoはEM-Testで最先端のLLMを大幅に上回っていることがわかった。 さらに質的な分析により、Echoは人間のようなエピソード記憶能力を示す可能性があることが明らかになった。 すべてのデータセット、コード、モデルの重み付けをオープンソースにします。

関連論文リスト

• From Tools to Teammates: Evaluating LLMs in Multi-Session Coding Interactions [9.344348861402928]
  MemoryCodeは、無関係な情報の中で単純なコーディング命令を追跡し実行するためのLarge Language Modelsの機能をテストするために設計されたデータセットである。 その結果,LLMの基本的な制限が強調され,長期的相互作用において効果的に協調する能力が制限された。
  論文  参考訳（メタデータ） (2025-02-19T14:58:04Z)
• Episodic Memories Generation and Evaluation Benchmark for Large Language Models [7.660368798066376]
  我々は、人間のような認知に向けてAIを前進させるためには、エピソード記憶能力を大規模言語モデルに統合することが不可欠であると主張している。 本研究では,時間的・空間的文脈をカプセル化し,関連する実体を包含し,詳細な記述を行うための構造的アプローチを開発する。 我々は、汚染のない独自のエピソードメモリベンチマークを合成し、LLM性能を評価するためにオープンソースコードとデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-01-21T02:16:13Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Human-like Episodic Memory for Infinite Context LLMs [13.211261438927798]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、それでも広範なコンテキストの処理に苦戦している。 本研究では,人間のエピソード記憶と事象認知をLLMに組み込む新しいアプローチであるEM-LLMを紹介する。 EM-LLMは、ベイジアン・サプライズとグラフ理論境界修正の組み合わせを用いて、トークンの列をコヒーレントなエピソード事象に整理する。
  論文  参考訳（メタデータ） (2024-07-12T17:34:03Z)
• AI-native Memory: A Pathway from LLMs Towards AGI [25.19572633670963]
  大規模言語モデル(LLM)は、人工知能(AGI)の火花で世界を実証した。 我々は,メモリ統合によるLLMからAGIへの経路を構想する。 中間段階として、メモリは自然言語記述の形式になる可能性が高い。
  論文  参考訳（メタデータ） (2024-06-26T12:51:37Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。