論文の概要: Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations

• arxiv url: http://arxiv.org/abs/2609.32522v1
• Date: Sat, 26 Sep 2026 12:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:23:06.372431
• Title: Beyond Dyadic Memory: Interaction-Aware Multimodal Memory with Adaptive Agentic Retrieval for Multi-Party Spoken Conversations
• Title（参考訳）: 対話型マルチモーダルメモリと適応型エージェント検索
• Abstract要約: 長期記憶により、エージェントはセッション間で情報や推論を蓄積できる。 既存の研究は、主にダイアドテキストや画像テキストの会話に焦点を当てている。 本稿では,対話型マルチモーダルメモリフレームワークであるVoxPolyMemを提案する。
• 参考スコア（独自算出の注目度）: 37.51797618305938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term memory enables agents to accumulate information and reason across sessions, yet existing research primarily focuses on dyadic text or image-text conversations, leaving long-term memory for multi-party spoken conversations underexplored. This setting requires preserving conversational content, identifying participants across sessions, and retaining who speaks to whom. To this end, we propose VoxPolyMem, an interaction-aware multimodal memory framework combining incremental speaker identification with a memory hierarchy comprising interaction memory, fact memory, and participant profiles. We formulate retrieval as sequential decision-making, where an agent rewrites queries and selects retrieval tools and memory layers based on accumulated evidence to address information gaps. We further introduce Evidence-Gain GRPO (EG-GRPO), which uses round-wise credit assignment to encourage complementary evidence acquisition. We also construct VoxPolyBench to evaluate memory evolution, personalized answering, memory retrieval and reasoning, and interaction reasoning and attribution in multi-party spoken conversations. VoxPolyMem achieves an overall score of 85.0 on VoxPolyBench, surpassing the strongest evaluated baseline by 23.6 points. On Mem-Gallery and H2HMem-Multi, it scores 89.6 and 74.4, respectively, exceeding the strongest evaluated public memory baselines by over 8 points each. These results highlight its potential for persistent, personalized assistance in multi-party multimodal interactions. Code and datasets are available at https://voxpolymem.github.io/VoxPolyBench/demo/
• Abstract（参考訳）: 長期記憶は、エージェントがセッション間で情報や推論を蓄積することを可能にするが、既存の研究は主にダイアディックテキストや画像-テキストの会話に焦点を合わせ、多人数会話の長期的な記憶を過小評価している。 この設定では、会話の内容の保存、セッションの参加者の特定、誰が誰と話すかの保持が求められます。 この目的のために,対話型マルチモーダルメモリフレームワークであるVoxPolyMemを提案する。 我々は,検索を逐次意思決定として定式化し,エージェントがクエリを書き換え,蓄積した証拠に基づいて検索ツールとメモリ層を選択し,情報ギャップに対処する。 Evidence-Gain GRPO(EG-GRPO)についても紹介する。 また、VoxPolyBenchを構築し、多人数会話における記憶の進化、パーソナライズされた回答、記憶の検索と推論、相互作用の推論と帰属を評価する。 VoxPolyMemはVoxPolyBenchで85.0のスコアを獲得し、評価ベースラインの23.6ポイントを上回った。 Mem-GalleryとH2HMem-Multiでは、それぞれ89.6点、74.4点を記録し、それぞれ8ポイント以上評価されている。 これらの結果は、多人数のマルチモーダルインタラクションにおけるパーソナライズされたパーソナライズされた支援の可能性を強調している。 コードとデータセットはhttps://voxpolymem.github.io/VoxPolyBench/demo/で公開されている。

関連論文リスト

• GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations [25.703133924514884]
  大規模言語モデル(LLM)エージェントは、ますますパーソナルアシスタントや職場の協力者として機能している。 既存のメモリシステムとベンチマークは、Dyadicのシングルユーザ設定を中心に構築されている。 グループメモリの3つの特性を公開するベンチマークであるGroupMemBenchを紹介する。
  論文  参考訳（メタデータ） (2026-05-14T07:38:29Z)
• AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
  長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。 AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。 LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
  論文  参考訳（メタデータ） (2026-03-17T13:22:54Z)
• EverMemBench: Benchmarking Long-Term Interactive Memory in Large Language Models [16.865998112859604]
  EverMemBenchは、100万以上のトークンにまたがる多人数のマルチグループ会話を特徴とするベンチマークである。 EverMemBenchは、1000以上のQAペアを通じて3次元にわたるメモリシステムを評価する。
  論文  参考訳（メタデータ） (2026-02-01T16:13:08Z)
• EvolMem: A Cognitive-Driven Benchmark for Multi-Session Dialogue Memory [63.84216832544323]
  EvolMemは、大規模言語モデル(LLM)とエージェントシステムのマルチセッションメモリ機能を評価するための新しいベンチマークである。 このベンチマークを構築するために,話題から始まる生成と物語から着想を得た変換からなるハイブリッドデータ合成フレームワークを提案する。 広範囲な評価により、LLMが全てのメモリ次元で常に他よりも優れていることが分かる。
  論文  参考訳（メタデータ） (2026-01-07T03:14:42Z)
• Mem-Gallery: Benchmarking Multimodal Long-Term Conversational Memory for MLLM Agents [76.76004970226485]
  長期記憶はマルチモーダル大言語モデル(MLLM)エージェントにとって重要な機能である。 Mem-GalleryはMLLMエージェントのマルチモーダル長期会話メモリ評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2026-01-07T02:03:13Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。