論文の概要: Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2406.06124v1
• Date: Mon, 10 Jun 2024 09:29:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:27:16.917193
• Title: Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation
• Title（参考訳）: 階層的集約木を用いた検索拡張生成のための長期記憶の強化
• Authors: Aadharsh Aadhithya A, Sachin Kumar S, Soman K. P,
• Abstract要約: HATは子どものノードから情報をカプセル化し、奥行き制御で広い範囲をカバーできる。 実験では、HATはベースラインコンテキストよりもダイアログコヒーレンスと要約品質を改善している。
• 参考スコア（独自算出の注目度）: 1.4665304971699265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have limited context capacity, hindering reasoning over long conversations. We propose the Hierarchical Aggregate Tree memory structure to recursively aggregate relevant dialogue context through conditional tree traversals. HAT encapsulates information from children nodes, enabling broad coverage with depth control. We formulate finding best context as optimal tree traversal. Experiments show HAT improves dialog coherence and summary quality over baseline contexts, demonstrating the techniques effectiveness for multi turn reasoning without exponential parameter growth. This memory augmentation enables more consistent, grounded longform conversations from LLMs
• Abstract（参考訳）: 大規模言語モデルはコンテキストキャパシティが限られており、長い会話に対する推論を妨げる。 条件付き木トラバーサルを通して,関係する対話コンテキストを再帰的に集約する階層的集約木メモリ構造を提案する。 HATは子どものノードから情報をカプセル化し、奥行き制御で広い範囲をカバーできる。 最適な木トラバーサルとして最適コンテキストを定式化する。 実験により,HATは,指数的パラメータ成長を伴わないマルチターン推論の手法の有効性を実証し,ベースラインコンテキストよりもダイアログのコヒーレンスと要約品質を改善した。 このメモリ拡張により、LLMからのより一貫性があり、接地されたロングフォームの会話が可能になる

関連論文リスト

• From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs [9.822315423251395]
  動的木構造メモリ表現を活用するアルゴリズムであるMemTreeを導入し、情報の組織化、検索、統合を最適化する。 我々のアルゴリズムは、新しい情報や既存の情報のセマンティック埋め込みを比較して、このメモリ構造を動的に適応させ、モデルのコンテキスト認識を強化する。
  論文  参考訳（メタデータ） (2024-10-17T21:47:11Z)
• FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models [54.13671100638092]
  断片接続型階層型メモリベース大規模言語モデル(LLM)を提案する。 外部メモリにおけるフラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。 長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。
  論文  参考訳（メタデータ） (2024-06-05T09:31:37Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• TREA: Tree-Structure Reasoning Schema for Conversational Recommendation [23.29064805769382]
  本稿では TREA という新しいツリー構造 schEmA を提案する。 TREAは、前述のエンティティ間の因果関係を明らかにするために、推論構造として多階層木を構築する。 2つの公開CRSデータセットに対する大規模な実験は、我々のアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2023-07-20T02:48:04Z)
• Unsupervised Learning of Discourse Structures using a Tree Autoencoder [8.005512864082126]
  本研究では, 自動符号化目的による潜在木誘導フレームワークを拡張することにより, タスクに依存しない, 監視されていない方法で木構造を生成する新しい戦略を提案する。 提案されたアプローチは、構文解析、談話解析など、任意のツリー目的に適用することができる。 本稿では,複数の領域における自然文の一般的な木構造を推定し,様々なタスクで有望な結果を示す。
  論文  参考訳（メタデータ） (2020-12-17T08:40:34Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。