論文の概要: MemBench: Towards Real-world Evaluation of Memory-Augmented Dialogue Systems
- arxiv url: http://arxiv.org/abs/2409.15240v1
- Date: Mon, 23 Sep 2024 17:38:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 13:52:58.723944
- Title: MemBench: Towards Real-world Evaluation of Memory-Augmented Dialogue Systems
- Title(参考訳): MemBench: メモリ拡張対話システムの現実的評価に向けて
- Authors: Junqing He, Liang Zhu, Qi Wei, Rui Wang, Jiaxing Zhang,
- Abstract要約: 長期記憶はチャットボットや対話システム(DS)にとって非常に重要であり、研究者は多数のメモリ拡張DSを開発した。
彼らはクエリが与えられた事実情報の正確さや生成したレスポンスの難解さだけを測定したが、それはそのパフォーマンスをほとんど反映しなかった。
本研究では,認知科学と心理学理論に基づく,記憶のリコールパラダイムを網羅する新しいベンチマークを構築した。
メモリベンチマーク(MemBench)は、認知科学における2句理論(メモリ検索、メモリ認識、注入)に基づく2つのタスクを含む。
- 参考スコア(独自算出の注目度): 12.058391678605163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-term memory is so important for chatbots and dialogue systems (DS) that researchers have developed numerous memory-augmented DS. However, their evaluation methods are different from the real situation in human conversation. They only measured the accuracy of factual information or the perplexity of generated responses given a query, which hardly reflected their performance. Moreover, they only consider passive memory retrieval based on similarity, neglecting diverse memory-recalling paradigms in humans, e.g. emotions and surroundings. To bridge the gap, we construct a novel benchmark covering various memory recalling paradigms based on cognitive science and psychology theory. The Memory Benchmark (MemBench) contains two tasks according to the two-phrase theory in cognitive science: memory retrieval, memory recognition and injection. The benchmark considers both passive and proactive memory recalling based on meta information for the first time. In addition, novel scoring aspects are proposed to comprehensively measure the generated responses. Results from the strongest embedding models and LLMs on MemBench show that there is plenty of room for improvement in existing dialogue systems. Extensive experiments also reveal the correlation between memory injection and emotion supporting (ES) skillfulness, and intimacy. Our code and dataset will be released.
- Abstract(参考訳): 長期記憶はチャットボットや対話システム(DS)にとって非常に重要であり、研究者は多数のメモリ拡張DSを開発した。
しかし,その評価手法は,人間の会話の実際の状況と異なる。
彼らはクエリが与えられた事実情報の正確さや生成したレスポンスの難解さだけを測定したが、それはそのパフォーマンスをほとんど反映しなかった。
さらに、類似性に基づいた受動的メモリ検索のみを考慮し、人間、eg感情、環境における多様なメモリリコールパラダイムを無視する。
このギャップを埋めるために,認知科学と心理学理論に基づく様々な記憶想起パラダイムをカバーする新しいベンチマークを構築した。
メモリベンチマーク(MemBench)は、認知科学における2句理論(メモリ検索、メモリ認識、注入)に基づく2つのタスクを含む。
このベンチマークでは、初めてメタ情報に基づいて、受動的メモリとプロアクティブメモリの両方をリコールする。
さらに、生成した応答を包括的に測定する新しいスコアリング手法を提案する。
MemBench上での最強埋め込みモデルとLLMの結果から、既存の対話システムには改善の余地が十分にあることが分かる。
大規模な実験では、記憶注射と感情支援(ES)スキルフルネスと親密さの相関も明らかにされている。
コードとデータセットはリリースされます。
関連論文リスト
- Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
CREEMは長期会話のための新しい記憶システムである。
過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
論文 参考訳(メタデータ) (2024-03-03T08:12:59Z) - Compress to Impress: Unleashing the Potential of Compressive Memory in Real-World Long-Term Conversations [39.05338079159942]
本研究は,従来の検索モジュールやメモリデータベースを活用する新しいフレームワークであるCOMEDY(Commpressive Memory-Enhanced Dialogue sYstems)を紹介する。
COMEDYの中心は圧縮メモリの概念であり、セッション固有の要約、ユーザー・ボットのダイナミクス、過去のイベントを簡潔なメモリ形式に解釈する。
論文 参考訳(メタデータ) (2024-02-19T09:19:50Z) - MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。
MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
論文 参考訳(メタデータ) (2023-05-17T14:40:29Z) - MoT: Memory-of-Thought Enables ChatGPT to Self-Improve [73.90376920653507]
我々は,注釈付きデータセットやパラメータ更新を使わずに,大規模言語モデルによる自己改善を実現するためのフレームワークであるMemory-of-Thoughtを提案する。
実験結果から,算術的推論,常識推論,事実推論,自然言語推論において,ChatGPTの能力向上に寄与することが示唆された。
論文 参考訳(メタデータ) (2023-05-09T05:25:05Z) - Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。
Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。
我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
論文 参考訳(メタデータ) (2023-05-03T21:40:54Z) - Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
忘れる方法は、継続的な学習に対処しなければならない問題である。
本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-26T18:06:39Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳(メタデータ) (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。