論文の概要: Compress to Impress: Unleashing the Potential of Compressive Memory in
Real-World Long-Term Conversations
- arxiv url: http://arxiv.org/abs/2402.11975v1
- Date: Mon, 19 Feb 2024 09:19:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:12:50.918783
- Title: Compress to Impress: Unleashing the Potential of Compressive Memory in
Real-World Long-Term Conversations
- Title(参考訳): Compress to Impress: リアルタイム長期会話における圧縮記憶の可能性
- Authors: Nuo Chen, Hongguang Li, Juhua Huang, Baoyuan Wang, Jia Li
- Abstract要約: 本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。
COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
- 参考スコア(独自算出の注目度): 41.8982615767219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing retrieval-based methods have made significant strides in maintaining
long-term conversations. However, these approaches face challenges in memory
database management and accurate memory retrieval, hindering their efficacy in
dynamic, real-world interactions. This study introduces a novel framework,
COmpressive Memory-Enhanced Dialogue sYstems (COMEDY), which eschews
traditional retrieval modules and memory databases. Instead, COMEDY adopts a
''One-for-All'' approach, utilizing a single language model to manage memory
generation, compression, and response generation. Central to this framework is
the concept of compressive memory, which intergrates session-specific
summaries, user-bot dynamics, and past events into a concise memory format. To
support COMEDY, we curated a large-scale Chinese instruction-tuning dataset,
Dolphin, derived from real user-chatbot interactions. Comparative evaluations
demonstrate COMEDY's superiority over traditional retrieval-based methods in
producing more nuanced and human-like conversational experiences. Our codes are
available at https://github.com/nuochenpku/COMEDY.
- Abstract(参考訳): 既存の検索手法は,長期会話の維持に大きく貢献している。
しかし、これらのアプローチは、メモリデータベース管理と正確なメモリ検索において課題に直面し、動的で現実世界の相互作用におけるそれらの効果を妨げる。
本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。
代わりに、単一の言語モデルを使用してメモリ生成、圧縮、応答生成を管理する'one-for-all'アプローチを採用している。
このフレームワークの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式にまとめる。
COMEDYをサポートするために,実際のユーザ-チャットボットインタラクションから派生した,大規模な中国語命令チューニングデータセットDolphinをキュレートした。
比較評価により,COMEDYは従来の検索手法よりも,よりニュアンスで人間らしい会話体験を創出することが示されている。
私たちのコードはhttps://github.com/nuochenpku/comedyで利用可能です。
関連論文リスト
- Evolving Large Language Model Assistant with Long-Term Conditional
Memory [16.91211676915775]
音声の長期記憶を利用した大規模言語モデルアシスタントを提案する。
モデルは、完了した対話ごとに一連のレコードを生成し、それらをメモリに格納する。
後続の使用では、新しいユーザ入力が与えられた場合、そのモデルがそれを使用して関連するメモリを取得し、応答の品質を向上させる。
論文 参考訳(メタデータ) (2023-12-22T02:39:15Z) - Recursively Summarizing Enables Long-Term Dialogue Memory in Large
Language Models [75.98775135321355]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。
本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文 参考訳(メタデータ) (2023-08-29T04:59:53Z) - UniMC: A Unified Framework for Long-Term Memory Conversation via
Relevance Representation Learning [15.313416157905685]
We propose a Unified framework for Long-term Memory Conversations (UniMC)。
主タスクを確率グラフに基づいて3つのサブタスクに分解する。
各サブタスクは、クエリとメモリ間の関連性を計算するための表現を学習する。
論文 参考訳(メタデータ) (2023-06-18T12:30:50Z) - MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。
MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
論文 参考訳(メタデータ) (2023-05-17T14:40:29Z) - Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。
Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。
我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
論文 参考訳(メタデータ) (2023-05-03T21:40:54Z) - Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-26T07:25:31Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-05-25T11:37:29Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z) - Memory-Based Semantic Parsing [79.48882899104997]
文脈依存型セマンティック解析のためのメモリベースモデルを提案する。
逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
論文 参考訳(メタデータ) (2021-09-07T16:15:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。