論文の概要: DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection
- arxiv url: http://arxiv.org/abs/2606.27499v1
- Date: Thu, 25 Jun 2026 19:34:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.296793
- Title: DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection
- Title(参考訳): DMV-Bench:随伴キュー注入による長距離マルチモーダルエージェントの視覚記憶の診断
- Abstract要約: DMV-Benchは,マルチモーダルエージェント視覚記憶のための対話型ベンチマークである。
DMV-Benchは1000種類の製品からなる自家製電子商取引カタログ上に構築されており、テキスト推論契約は各タスクの識別信号をピクセル単独で保持する。
両符号化理論に着想を得たDualMemは,視覚的および言語的コードを並列に維持するメモリアーキテクチャである。
- 参考スコア(独自算出の注目度): 14.086633664413627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research on agent memory has matured rapidly, but almost entirely on the text side: few existing benchmarks ask, in an interactive environment, when an agent genuinely needs to remember what it saw rather than what it could write down. We introduce DMV-Bench (Code: https://github.com/yyyujintang/DMV-Bench), the first interactive benchmark for multimodal-agent visual memory. DMV-Bench is built on a controlled home-furnishing e-commerce catalogue of 1,000 product variants in which a text-leakage contract keeps the discriminative signal of each task in the pixels alone. Across a chain of autonomous shopping sessions, every visited product image carries a unique, pre-rendered incidental cue, and the agent is later asked to recall a particular cued product and navigate to its URL. Inspired by dual-coding theory, we propose DualMem, a memory architecture that maintains a visual and a verbal code in parallel. On DMV-Bench, DualMem outperforms a caption baseline and three recent multimodal agent-memory systems at every chain length J in {5, 10, 15, 50} on both Gemini 2.5 Flash and Qwen2.5-VL-7B, with the lead surviving controls for memory-bank size and encoding-position bias, and an asymmetric dual-coding regime in which vision carries the cue end-to-end while the verbal channel plays a smaller query-grounding role.
- Abstract(参考訳): エージェントメモリの研究は急速に成熟しているが、ほぼ完全にテキスト側で行われている。対話的な環境では、エージェントが何を書けるかではなく、実際に何を見たかを思い出す必要がある場合、既存のベンチマークはほとんどない。
DMV-Bench(コード: https://github.com/yyyujintang/DMV-Bench)は、マルチモーダルエージェント型ビジュアルメモリの最初のインタラクティブなベンチマークである。
DMV-Benchは1000種類の製品からなる自家製電子商取引カタログ上に構築されており、テキスト推論契約は各タスクの識別信号をピクセルのみに保持する。
自律的なショッピングセッションの連鎖の中で、訪れたすべての製品イメージは、ユニークな、事前レンダリングされたインシデントキューを持ち、エージェントは後に、特定のキューされた商品をリコールして、URLにナビゲートするように要求される。
両符号化理論に着想を得たDualMemは,視覚的および言語的コードを並列に維持するメモリアーキテクチャである。
DMV-Benchでは、DualMemはGemini 2.5 FlashとQwen2.5-VL-7Bの両方で、キャプションベースラインと最近の3つのマルチモーダルエージェントメモリシステムより優れている。
関連論文リスト
- Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳(メタデータ) (2026-07-01T05:53:09Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳(メタデータ) (2026-05-28T04:27:20Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models [50.25006399944962]
メモリは、長いマルチモーダル相互作用を扱うために、大きな視覚言語モデルにとって不可欠である。
MEMLENSはマルチモーダルマルチセッション会話におけるメモリのベンチマークである。
我々は27個のLVLMと7個のメモリ増強剤を評価した。
論文 参考訳(メタデータ) (2026-05-14T14:41:17Z) - Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。
SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
論文 参考訳(メタデータ) (2026-05-08T15:40:40Z) - MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-Evolution [52.29303869050117]
メモリ拡張LDMエージェントは、長期の相互作用をサポートするために外部メモリバンクを保持する。
MemMAはプラグアンドプレイのマルチエージェントフレームワークで、前方と後方の両方の経路に沿ってメモリサイクルを調整する。
論文 参考訳(メタデータ) (2026-03-19T10:15:59Z) - According to Me: Long-Term Personalized Referential Memory QA [27.402232752643275]
ATM-Benchはマルチモーダル、マルチソースパーソナライズされた参照メモリQAのための最初のベンチマークである。
ガイドメモリ(SGM)は、異なるソースから派生したメモリアイテムを構造的に表現する。
ATM-Bench-Hardセットでは性能が(20%の精度で)低いことが分かりました。
論文 参考訳(メタデータ) (2026-03-02T15:42:29Z) - M2A: Multimodal Memory Agent with Dual-Layer Hybrid Memory for Long-Term Personalized Interactions [29.497569352308037]
M2Aは、オンライン更新を通じてパーソナライズされたマルチモーダル情報を保持するエージェント二重層ハイブリッドメモリシステムである。
ChatAgentはユーザーインタラクションを管理し、メモリの問い合わせや更新のタイミングを自律的に決定する。
MemoryManagerは、ChatAgentからのメモリ要求を2層メモリバンクの詳細な操作に分解する。
論文 参考訳(メタデータ) (2026-02-07T17:13:56Z) - EverMemBench: Benchmarking Long-Term Interactive Memory in Large Language Models [16.865998112859604]
EverMemBenchは、100万以上のトークンにまたがる多人数のマルチグループ会話を特徴とするベンチマークである。
EverMemBenchは、1000以上のQAペアを通じて3次元にわたるメモリシステムを評価する。
論文 参考訳(メタデータ) (2026-02-01T16:13:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。