論文の概要: From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs

• arxiv url: http://arxiv.org/abs/2410.14052v2
• Date: Tue, 03 Dec 2024 18:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:40:03.864616
• Title: From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs
• Title（参考訳）: 分離会話から階層型スキーマへ:LLMのための動的ツリーメモリ表現
• Authors: Alireza Rezazadeh, Zichao Li, Wei Wei, Yujia Bao,
• Abstract要約: 動的木構造メモリ表現を活用するアルゴリズムであるMemTreeを導入し、情報の組織化、検索、統合を最適化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを比較して、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。
• 参考スコア（独自算出の注目度）: 9.822315423251395
• License:
• Abstract: Recent advancements in large language models have significantly improved their context windows, yet challenges in effective long-term memory management remain. We introduce MemTree, an algorithm that leverages a dynamic, tree-structured memory representation to optimize the organization, retrieval, and integration of information, akin to human cognitive schemas. MemTree organizes memory hierarchically, with each node encapsulating aggregated textual content, corresponding semantic embeddings, and varying abstraction levels across the tree's depths. Our algorithm dynamically adapts this memory structure by computing and comparing semantic embeddings of new and existing information to enrich the model's context-awareness. This approach allows MemTree to handle complex reasoning and extended interactions more effectively than traditional memory augmentation methods, which often rely on flat lookup tables. Evaluations on benchmarks for multi-turn dialogue understanding and document question answering show that MemTree significantly enhances performance in scenarios that demand structured memory management.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、コンテキストウィンドウを大幅に改善しているが、効果的な長期記憶管理の課題は残されている。 我々は,動的で木構造的なメモリ表現を活用するアルゴリズムであるMemTreeを導入し,人間の認知スキーマに似た,情報の組織化,検索,統合を最適化する。 MemTreeは階層的にメモリを整理し、各ノードが集約されたテキストコンテンツをカプセル化し、対応するセマンティックな埋め込み、ツリーの深さの様々な抽象化レベルをカプセル化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを計算・比較することで、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。 このアプローチによってMemTreeは、フラットなルックアップテーブルに依存する従来のメモリ拡張メソッドよりも、複雑な推論と拡張されたインタラクションを効果的に処理できる。 マルチターン対話理解と文書質問応答のベンチマークの結果から,MemTreeは構造化メモリ管理を必要とするシナリオの性能を大幅に向上させることが示された。

関連論文リスト

• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation [1.4665304971699265]
  HATは子どものノードから情報をカプセル化し、奥行き制御で広い範囲をカバーできる。 実験では、HATはベースラインコンテキストよりもダイアログコヒーレンスと要約品質を改善している。
  論文  参考訳（メタデータ） (2024-06-10T09:29:08Z)
• Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations [39.05338079159942]
  本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。 COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
  論文  参考訳（メタデータ） (2024-02-19T09:19:50Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Eigen Memory Tree [27.33148786536804]
  この研究は、シーケンシャルな学習シナリオのための新しいオンラインメモリモデルであるEigen Memory Tree (EMT)を紹介している。 我々は,EMTが既存のオンラインメモリの手法より優れていることを示すとともに,その性能を劇的に向上させるハイブリッド化EMTパラメトリックアルゴリズムを提供する。 本研究は,OpenMLリポジトリの206データセットを用いて,メモリのバウンダリと無限のバウンダリの両方で検証した。
  論文  参考訳（メタデータ） (2022-10-25T14:57:41Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Memory-Based Semantic Parsing [79.48882899104997]
  文脈依存型セマンティック解析のためのメモリベースモデルを提案する。 逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
  論文  参考訳（メタデータ） (2021-09-07T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。