論文の概要: THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation

• arxiv url: http://arxiv.org/abs/2406.10996v1
• Date: Sun, 16 Jun 2024 16:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:32:56.985905
• Title: THEANINE: Revisiting Memory Management in Long-term Conversations with Timeline-augmented Response Generation
• Title（参考訳）: THEANINE: Timeline-augmented Response Generation による長期会話におけるメモリ管理の再検討
• Authors: Seo Hyun Kim, Kai Tzu-iunn Ong, Taeyoon Kwon, Namyoung Kim, Keummin Ka, SeongHyeon Bae, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo,
• Abstract要約: 大規模言語モデル(LLM)の時代におけるメモリ拡張応答生成を再考する。 本稿では,LLMの応答生成をメモリタイムラインで拡張するフレームワークであるTheanineを紹介する。 Theanineとともに、反ファクト駆動の質問応答パイプラインであるTeaFarmを紹介します。
• 参考スコア（独自算出の注目度）: 26.084729885040716
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are capable of processing lengthy dialogue histories during prolonged interaction with users without additional memory modules; however, their responses tend to overlook or incorrectly recall information from the past. In this paper, we revisit memory-augmented response generation in the era of LLMs. While prior work focuses on getting rid of outdated memories, we argue that such memories can provide contextual cues that help dialogue systems understand the development of past events and, therefore, benefit response generation. We present Theanine, a framework that augments LLMs' response generation with memory timelines -- series of memories that demonstrate the development and causality of relevant past events. Along with Theanine, we introduce TeaFarm, a counterfactual-driven question-answering pipeline addressing the limitation of G-Eval in long-term conversations. Supplementary videos of our methods and the TeaBag dataset for TeaFarm evaluation are in https://theanine-693b0.web.app/.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、メモリモジュールを追加せずにユーザとの長時間の対話中に長い対話履歴を処理できるが、その応答は見過ごされるか、過去の情報を誤って呼び起こす傾向にある。 本稿では,LLMの時代におけるメモリ拡張応答生成を再考する。 過去の研究は時代遅れの記憶をなくすことに重点を置いているが、このような記憶は、対話システムが過去の出来事の発生を理解し、その結果、応答生成に利益をもたらすのに役立つ文脈的手がかりを提供することができると論じている。 我々は、LCMの応答生成をメモリタイムラインで強化するフレームワークであるTheanineを紹介します。 Theanineとともに、長期会話におけるG-Evalの制限に対処する対実的な質問応答パイプラインであるTeaFarmを紹介した。 私たちのメソッドとTeaFarm評価のためのTeaBagデータセットの補足ビデオはhttps://theanine-693b0.web.app/.comで公開されている。

関連論文リスト

• From RAG to Memory: Non-Parametric Continual Learning for Large Language Models [6.380729797938521]
  検索強化世代(RAG)は、新しい情報を導入する主要な方法となっている。 最近のRAGは、知識グラフのような様々な構造を持つベクトル埋め込みを拡大して、いくつかのギャップ、すなわちセンスメイキングと連想性に対処している。 我々は,現実的,感覚的,連想的なメモリタスクにおいて,標準RAGを総合的に上回るフレームワークであるHippoRAG 2を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:26:02Z)
• Integrating Temporal Representations for Dynamic Memory Retrieval and Management in Large Language Models [8.943924354248622]
  我々は、シナプス力学をレトリーバル強化生成(RAG)に組み込む新しいアプローチであるSynapticRAGを提案する。 本手法は,会話から長期的文脈維持と特定の情報抽出を強化することで,文脈認識型対話型AIシステムを進化させる。
  論文  参考訳（メタデータ） (2024-10-17T13:51:03Z)
• LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
  本稿では,チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。 LongMemEvalは、既存の長期記憶システムにとって重要な課題である。 長期記憶設計を4つの設計選択に分割する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:44Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
  CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
  論文  参考訳（メタデータ） (2024-03-03T08:12:59Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
  本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。 MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T14:40:29Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Towards mental time travel: a hierarchical memory for reinforcement learning agents [9.808027857786781]
  強化学習エージェントは、特に遅延や邪魔なタスクの後、過去の詳細を忘れることが多い。 エージェントが過去を詳細に記憶するのに役立つ階層型トランスフォーマーメモリ(HTM)を提案する。 HTMのエージェントは、トレーニング対象よりも桁違い長いタスクシーケンスに外挿することができ、メタラーニング環境からゼロショットを一般化してエピソード間の知識を維持することもできる。
  論文  参考訳（メタデータ） (2021-05-28T18:12:28Z)
• Vision-Dialog Navigation by Exploring Cross-modal Memory [107.13970721435571]
  視覚ダイアログナビゲーションは、視覚言語ディシプリナターゲットの新たな聖杯タスクとして機能する。 本稿では,歴史的ナビゲーション行動に関連する豊富な情報を記憶し,理解するためのクロスモーダルメモリネットワーク(CMN)を提案する。 私たちのCMNは、従来の最先端モデルよりも、目に見える環境と目に見えない環境の両方で大きな差があります。
  論文  参考訳（メタデータ） (2020-03-15T03:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。