論文の概要: MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation

• arxiv url: http://arxiv.org/abs/2409.15240v2
• Date: Wed, 23 Oct 2024 17:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 20:27:58.637105
• Title: MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation
• Title（参考訳）: MADial-Bench: メモリ拡張対話生成の実環境評価に向けて
• Authors: Junqing He, Liang Zhu, Rui Wang, Xi Wang, Reza Haffari, Jiaxing Zhang,
• Abstract要約: メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
• 参考スコア（独自算出の注目度）: 15.64077949677469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-term memory is important for chatbots and dialogue systems (DS) to create consistent and human-like conversations, evidenced by numerous developed memory-augmented DS (MADS). To evaluate the effectiveness of such MADS, existing commonly used evaluation metrics, like retrieval accuracy and perplexity (PPL), mainly focus on query-oriented factualness and language quality assessment. However, these metrics often lack practical value. Moreover, the evaluation dimensions are insufficient for human-like assessment in DS. Regarding memory-recalling paradigms, current evaluation schemes only consider passive memory retrieval while ignoring diverse memory recall with rich triggering factors, e.g., emotions and surroundings, which can be essential in emotional support scenarios. To bridge the gap, we construct a novel Memory-Augmented Dialogue Benchmark (MADail-Bench) covering various memory-recalling paradigms based on cognitive science and psychology theories. The benchmark assesses two tasks separately: memory retrieval and memory recognition with the incorporation of both passive and proactive memory recall data. We introduce new scoring criteria to the evaluation, including memory injection, emotion support (ES) proficiency, and intimacy, to comprehensively assess generated responses. Results from cutting-edge embedding models and large language models on this benchmark indicate the potential for further advancement. Extensive testing further reveals correlations between memory injection, ES proficiency, and intimacy.
• Abstract（参考訳）: チャットボットや対話システム(DS)にとって長期記憶は、多数の発達したメモリ拡張DS(MADS)によって実証された、一貫性のある人間的な会話を生成するために重要である。 このようなMADSの有効性を評価するため、検索精度やパープレキシティ(PPL)などの既存の評価指標は、主にクエリ指向の事実性や言語品質の評価に重点を置いている。 しかし、これらの指標は実際的な価値を欠くことが多い。 また,DSの人間的評価には評価寸法が不十分である。 メモリリコールのパラダイムに関しては、現在の評価スキームは受動的メモリ検索のみを考慮しつつ、多様なメモリリコールを、感情や環境といったリッチなトリガ要因で無視する。 このギャップを埋めるために,認知科学と心理学理論に基づく様々なメモリリコールパラダイムをカバーする新しいメモリ拡張ダイアログベンチマーク(MADail-Bench)を構築した。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 本稿では, 記憶注入, 感情支援(ES)能力, 親密性などの評価基準を新たに導入し, 生成した反応を包括的に評価する。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。 広範囲なテストにより、メモリインジェクション、ES習熟度、親密さの相関が明らかになる。

関連論文リスト

• RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
  記憶は、長い水平と歴史に依存したロボット操作にとって重要である。 近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。 本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T21:59:32Z)
• MemEmo: Evaluating Emotion in Memory Systems of Agents [30.12443912702673]
  本稿では、感情情報を扱う際の記憶システムの性能を評価するための感情強調型メモリ評価ベンチマークを提案する。 textbfHuman-textbfLike textbfMemory textbfEmotion(textbfHLME)データセットを開発した。 実験結果から,3つのタスクにまたがるロバストな性能は,いずれのシステムも達成できていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-27T11:46:08Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• Locomo-Plus: Beyond-Factual Cognitive Memory Evaluation Framework for LLM Agents [19.76627324918285]
  我々は,cue-trigger セマンティック・ディコネクションの下で認知記憶を評価するためのベンチマークである textbfLoCoMo-Plus を紹介する。 従来の文字列マッチングの指標と明示的なタスクタイププロンプトが,このようなシナリオと一致していないことを示す。 多様なバックボーンモデル、検索ベースの方法、メモリシステムによる実験は、認知記憶が依然として困難であることを証明している。
  論文  参考訳（メタデータ） (2026-02-11T10:22:35Z)
• Rethinking Memory Mechanisms of Foundation Agents in the Second Half: A Survey [211.01908189012184]
  今年、何百もの論文が公開されたメモリは、ユーティリティギャップを埋めるための重要なソリューションとして現れます。 ファンデーションエージェントのメモリを3次元に統一したビューを提供する。 次に、異なるエージェントトポロジの下でメモリがどのようにインスタンス化され、操作されるかを分析する。
  論文  参考訳（メタデータ） (2026-01-14T07:38:38Z)
• EvolMem: A Cognitive-Driven Benchmark for Multi-Session Dialogue Memory [63.84216832544323]
  EvolMemは、大規模言語モデル(LLM)とエージェントシステムのマルチセッションメモリ機能を評価するための新しいベンチマークである。 このベンチマークを構築するために,話題から始まる生成と物語から着想を得た変換からなるハイブリッドデータ合成フレームワークを提案する。 広範囲な評価により、LLMが全てのメモリ次元で常に他よりも優れていることが分かる。
  論文  参考訳（メタデータ） (2026-01-07T03:14:42Z)
• Memory in the Age of AI Agents [217.9368190980982]
  この研究は、現在のエージェントメモリ研究の最新の展望を提供することを目的としている。 我々は,エージェントメモリ,すなわちトークンレベル,パラメトリック,潜時メモリの3つの支配的実現を同定する。 実用的な開発を支援するため、メモリベンチマークとオープンソースフレームワークの包括的な概要をコンパイルする。
  論文  参考訳（メタデータ） (2025-12-15T17:22:34Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)
• FindingDory: A Benchmark to Evaluate Memory in Embodied Agents [49.89792845476579]
  本研究では,Habitatシミュレータに長距離エンボディタスクのための新しいベンチマークを導入する。 このベンチマークは、持続的なエンゲージメントとコンテキスト認識を必要とする60タスクにわたるメモリベースの機能を評価する。
  論文  参考訳（メタデータ） (2025-06-18T17:06:28Z)
• CAIM: Development and Evaluation of a Cognitive AI Memory Framework for Long-Term Interaction with Intelligent Agents [1.6082737760346446]
  大規模言語モデル(LLM)は人工知能(AI)の分野を進歩させ、インタラクティブシステムのための強力なイネーブラーとなっている。 ユーザに対して適応する必要のある長期的なインタラクションや、常に変化する環境のコンテキスト的知識や理解において、依然として課題に直面しています。 これらの課題を克服するためには、インタラクションセッション間で関連情報を効率的に検索し保存するために、全体論的メモリモデリングが必要である。 コンピュータ化されたモデルで人間の思考プロセスをシミュレートすることを目的とした認知AIは、思考、記憶機構、意思決定といった興味深い側面を強調している。
  論文  参考訳（メタデータ） (2025-05-19T12:33:52Z)
• From Human Memory to AI Memory: A Survey on Memory Mechanisms in the Era of LLMs [34.361000444808454]
  メモリは情報をエンコードし、保存し、検索するプロセスである。 大規模言語モデル(LLM)の時代において、メモリとは、AIシステムが過去のインタラクションからの情報を保持し、リコールし、使用し、将来の応答とインタラクションを改善する能力である。
  論文  参考訳（メタデータ） (2025-04-22T15:05:04Z)
• In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents [70.12342024019044]
  大規模言語モデル(LLM)は、オープンエンド対話において大きな進歩を遂げているが、関連する情報の保持と取得ができないため、その有効性は制限されている。 本稿では,長期対話エージェントのための新しいメカニズムであるリフレクティブメモリ管理(RMM)を提案する。 RMMは、LongMemEvalデータセットのメモリ管理なしでベースラインよりも10%以上精度が向上している。
  論文  参考訳（メタデータ） (2025-03-11T04:15:52Z)
• Triangulating LLM Progress through Benchmarks, Games, and Cognitive Tests [89.09172401497213]
  本稿では,大規模質問応答ベンチマーク,インタラクティブゲーム,認知テストの3つの評価パラダイムについて検討する。 効果的な言語使用に不可欠な認知能力を測定するための,対象とするテストスイートをコンパイルする。 分析の結果,対話型ゲームは判別モデルにおける標準ベンチマークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T08:36:58Z)
• Event Segmentation Applications in Large Language Model Enabled Automated Recall Assessments [0.0]
  イベントセグメンテーションは、経験を知覚し、エンコードし、リコールする方法の中心です。 現在の研究手法は、セグメンテーションパターンとリコール能力を評価するために人間に大きく依存している。 大規模言語モデル(LLM)を利用してイベントセグメンテーションの自動化とリコールの評価を行う。
  論文  参考訳（メタデータ） (2025-02-19T00:48:51Z)
• On Memory Construction and Retrieval for Personalized Conversational Agents [69.46887405020186]
  本稿では,セグメンテーションモデルを導入し,セグメントレベルでメモリバンクを構築するセグメンテーション手法であるSeComを提案する。 実験結果から,SeComは長期会話ベンチマークLOCOMOとLong-MT-Bench+のベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-08T14:28:36Z)
• Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation [39.69790911626182]
  強化学習領域(RL)における多数のタスクにおいて、エージェントへのメモリの取り込みが不可欠である メモリ」という用語は幅広い概念を包含しており、エージェントのメモリを検証するための統一的な方法論が欠如していることと相まって、エージェントのメモリ能力に関する誤った判断につながる。 本稿では,エージェントメモリタイプを正確に定義することで,RLにおけるメモリ概念の合理化を目指す。
  論文  参考訳（メタデータ） (2024-12-09T14:34:31Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Hello Again! LLM-powered Personalized Agent for Long-term Dialogue [63.65128176360345]
  モデルに依存しない長期対話エージェント(LD-Agent)を導入する。 イベント認識、ペルソナ抽出、応答生成のための3つの独立した調整可能なモジュールが組み込まれている。 LD-Agentの有効性, 汎用性, クロスドメイン性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-06-09T21:58:32Z)
• Ever-Evolving Memory by Blending and Refining the Past [30.63352929849842]
  CREEMは長期会話のための新しい記憶システムである。 過去と現在の情報をシームレスに接続すると同時に、障害情報を忘れる能力も備えている。
  論文  参考訳（メタデータ） (2024-03-03T08:12:59Z)
• Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term Memory [24.464945401037056]
  歴史的思考を記憶するための進化した記憶を大規模言語モデルで維持できるTiM(Think-in-Memory)を提案する。 我々は,多種多様な話題をカバーする実世界および模擬対話の質的,定量的な実験を行う。
  論文  参考訳（メタデータ） (2023-11-15T06:08:35Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• MemoryBank: Enhancing Large Language Models with Long-Term Memory [7.654404043517219]
  本稿では,大規模言語モデルに適した新しいメモリ機構であるMemoryBankを提案する。 MemoryBankは、モデルが関連するメモリを呼び出し、継続的なメモリ更新を通じて継続的に進化し、過去のインタラクションから情報を合成することで、ユーザの個性に適応することを可能にする。
  論文  参考訳（メタデータ） (2023-05-17T14:40:29Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Recall, Robustness, and Lexicographic Evaluation [49.13362412522523]
  正式な評価モチベーションのないリコールの適用は、リコールを曖昧または不適切な措置として批判するに至った。 本研究は,リコール,ロバスト性,レキソグラフィー評価の3つのテテットから成っている。
  論文  参考訳（メタデータ） (2023-02-22T13:39:54Z)
• Evaluating Long-Term Memory in 3D Mazes [10.224858246626171]
  Memory Mazeはエージェントの長期記憶を評価するために設計されたランダム化迷路の3Dドメインである。 既存のベンチマークとは異なり、Memory Mazeはエージェントの能力から切り離された長期的なメモリを測定する。 現在のアルゴリズムは、時間の経過とともに縮小したバックプロパゲーションによるトレーニングの恩恵を受け、小さな迷路で成功するが、大きな迷路での人間のパフォーマンスに欠ける。
  論文  参考訳（メタデータ） (2022-10-24T16:32:28Z)
• Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
  逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。 記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
  論文  参考訳（メタデータ） (2022-08-06T08:56:55Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。