論文の概要: Ever-Evolving Memory by Blending and Refining the Past

• arxiv url: http://arxiv.org/abs/2403.04787v2
• Date: Sun, 7 Apr 2024 04:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 00:47:03.708264
• Title: Ever-Evolving Memory by Blending and Refining the Past
• Title（参考訳）: 過去をブレンディング・リファインディングした記憶の進化
• Authors: Seo Hyun Kim, Keummin Ka, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo,
• Abstract要約: CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
• 参考スコア（独自算出の注目度）: 30.63352929849842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For a human-like chatbot, constructing a long-term memory is crucial. However, current large language models often lack this capability, leading to instances of missing important user information or redundantly asking for the same information, thereby diminishing conversation quality. To effectively construct memory, it is crucial to seamlessly connect past and present information, while also possessing the ability to forget obstructive information. To address these challenges, we propose CREEM, a novel memory system for long-term conversation. Improving upon existing approaches that construct memory based solely on current sessions, CREEM blends past memories during memory formation. Additionally, we introduce a refining process to handle redundant or outdated information. Unlike traditional paradigms, we view responding and memory construction as inseparable tasks. The blending process, which creates new memories, also serves as a reasoning step for response generation by informing the connection between past and present. Through evaluation, we demonstrate that CREEM enhances both memory and response qualities in multi-session personalized dialogues.
• Abstract（参考訳）: 人間のようなチャットボットでは、長期記憶の構築が不可欠である。 しかし、現在の大きな言語モデルは、しばしばこの機能を欠いているため、重要なユーザ情報を欠いたり、同じ情報を冗長に要求したりすることで、会話の品質を低下させる。 メモリを効果的に構築するには、障害情報を忘れる能力を有しながら、過去の情報をシームレスに接続し、情報を提示することが重要である。 これらの課題に対処するため,長期会話のための新しい記憶システム CREEM を提案する。 現在のセッションのみに基づいてメモリを構築する既存のアプローチの改善により、CREEMはメモリ形成中に過去のメモリをブレンドする。 さらに、冗長または時代遅れの情報を処理するための精錬プロセスを導入します。 従来のパラダイムとは異なり、応答とメモリ構成は分離不可能なタスクだと考えています。 新しい記憶を作り出すブレンディングプロセスは、過去と現在の間の接続を知らせることで、応答生成の推論ステップとしても機能する。 評価により、CREEMはマルチセッションパーソナライズされた対話における記憶と応答の質を向上させる。

関連論文リスト

• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations [39.05338079159942]
  本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。 COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
  論文  参考訳（メタデータ） (2024-02-19T09:19:50Z)
• Personalized Large Language Model Assistant with Evolving Conditional Memory [15.780762727225122]
  条件記憶を進化させる大規模言語モデルアシスタントをパーソナライズするためのプラグイン・アンド・プレイフレームワークを提案する。 パーソナライズされたアシスタントは、ユーザとの履歴対話から知識と経験をインテリジェントに保存することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-22T02:39:15Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
  本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。 MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T14:40:29Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• Keep Me Updated! Memory Management in Long-term Conversations [14.587940208778843]
  本稿では,長期会話における新しいタスクとメモリ管理データセットを提案する。 本稿では,無効あるいは冗長な情報を排除した新しいメモリ管理機構を提案する。 実験結果から,本研究のアプローチは,エンゲージネスや人間性という点において,ベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-10-17T05:06:38Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Not All Memories are Created Equal: Learning to Forget by Expiring [49.053569908417636]
  本稿では,重要情報の保持を学習し,無関係情報を期限とするExpire-Spanを提案する。 この記憶を忘れることで、トランスフォーマーは数十万以上の前のタイムステップに効率的に参加することができます。 私たちは、Expire-Spanが数万の大きさの記憶にスケールできることを示し、信じられないほど長いコンテキストタスクに新しい状態を設定します。
  論文  参考訳（メタデータ） (2021-05-13T20:50:13Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。