論文の概要: From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs

• arxiv url: http://arxiv.org/abs/2410.14052v2
• Date: Tue, 03 Dec 2024 18:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:40:03.864616
• Title: From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs
• Title（参考訳）: 分離会話から階層型スキーマへ:LLMのための動的ツリーメモリ表現
• Authors: Alireza Rezazadeh, Zichao Li, Wei Wei, Yujia Bao,
• Abstract要約: 動的木構造メモリ表現を活用するアルゴリズムであるMemTreeを導入し、情報の組織化、検索、統合を最適化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを比較して、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。
• 参考スコア（独自算出の注目度）: 9.822315423251395
• License:
• Abstract: Recent advancements in large language models have significantly improved their context windows, yet challenges in effective long-term memory management remain. We introduce MemTree, an algorithm that leverages a dynamic, tree-structured memory representation to optimize the organization, retrieval, and integration of information, akin to human cognitive schemas. MemTree organizes memory hierarchically, with each node encapsulating aggregated textual content, corresponding semantic embeddings, and varying abstraction levels across the tree's depths. Our algorithm dynamically adapts this memory structure by computing and comparing semantic embeddings of new and existing information to enrich the model's context-awareness. This approach allows MemTree to handle complex reasoning and extended interactions more effectively than traditional memory augmentation methods, which often rely on flat lookup tables. Evaluations on benchmarks for multi-turn dialogue understanding and document question answering show that MemTree significantly enhances performance in scenarios that demand structured memory management.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、コンテキストウィンドウを大幅に改善しているが、効果的な長期記憶管理の課題は残されている。 我々は,動的で木構造的なメモリ表現を活用するアルゴリズムであるMemTreeを導入し,人間の認知スキーマに似た,情報の組織化,検索,統合を最適化する。 MemTreeは階層的にメモリを整理し、各ノードが集約されたテキストコンテンツをカプセル化し、対応するセマンティックな埋め込み、ツリーの深さの様々な抽象化レベルをカプセル化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを計算・比較することで、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。 このアプローチによってMemTreeは、フラットなルックアップテーブルに依存する従来のメモリ拡張メソッドよりも、複雑な推論と拡張されたインタラクションを効果的に処理できる。 マルチターン対話理解と文書質問応答のベンチマークの結果から,MemTreeは構造化メモリ管理を必要とするシナリオの性能を大幅に向上させることが示された。

関連論文リスト

• A-MEM: Agentic Memory for LLM Agents [42.50876509391843]
  大規模言語モデル(LLM)エージェントは、歴史的経験を活用するためにメモリシステムを必要とする。 現在のメモリシステムは基本的なストレージと検索を可能にするが、洗練されたメモリ構造は欠如している。 本稿では, LLMエージェントに対して, エージェント方式で動的に記憶を整理できる新しいエージェントメモリシステムを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:36:14Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• On Memory Construction and Retrieval for Personalized Conversational Agents [69.46887405020186]
  本稿では,対話モデルを導入し,圧縮メモリ単位に基づいたメモリ検索を行い,話題セグメントを持つメモリバンクを構築するSeComを提案する。 実験結果から, LOCOMOやLong-MT-Bench+のような長期会話ベンチマークにおいて, ターンレベル, セッションレベル, および要約に基づくいくつかの手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2025-02-08T14:28:36Z)
• Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation [1.4665304971699265]
  HATは子どものノードから情報をカプセル化し、奥行き制御で広い範囲をカバーできる。 実験では、HATはベースラインコンテキストよりもダイアログコヒーレンスと要約品質を改善している。
  論文  参考訳（メタデータ） (2024-06-10T09:29:08Z)
• Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations [39.05338079159942]
  本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。 COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
  論文  参考訳（メタデータ） (2024-02-19T09:19:50Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Memory-Based Semantic Parsing [79.48882899104997]
  文脈依存型セマンティック解析のためのメモリベースモデルを提案する。 逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
  論文  参考訳（メタデータ） (2021-09-07T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。