論文の概要: DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents

• arxiv url: http://arxiv.org/abs/2610.08102v1
• Date: Tue, 06 Oct 2026 10:30:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.934707
• Title: DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents
• Title（参考訳）: DSV-Mem:MLLMエージェントのプロフェッショナルワークフローにおけるマルチモーダルメモリの評価
• Abstract要約: DSV-Memはステートフルなビジュアルメモリを評価するためのベンチマークである。 専門家がレビューしたシナリオと、ユーザ指向の5つのカテゴリにわたる1,000の質問で構成されている。 27以上の評価結果から, DSV-Memでは最強のベースラインスコアが45%以下であった。
• 参考スコア（独自算出の注目度）: 14.521998277689894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational MLLM agents are increasingly expected to assist in professional workflows, from AI research and engineering design to product management and business operations. Yet this capability remains underexplored: existing benchmarks largely focus on informal, everyday interactions and personal-life scenarios featuring photographic natural images, isolated static artifacts, and recall-oriented questions. In contrast, professional scenarios often involve structured, information-heavy artifacts that undergo frequent revisions and authority updates, and compositional queries requiring reconciliation of many artifact versions while tracking state precisely. To address these challenges, we introduce DSV-Mem, a benchmark for evaluating Dense Stateful Visual Memory. DSV-Mem comprises expert-reviewed scenarios and 1,000 questions across five user-oriented categories (Current State, Past State, Derived State, Change History, and Conflict/Refusal). A Hartley-inspired criterion favors questions with broader visual-evidence inspection demands. We also introduce a generation harness that produces evaluation suites by decoupling state-transition synthesis from conversation filling. Evaluation over 27 configurations spanning frontier and open-weight models and memory management methods reveals that the strongest baseline scores below 45% on DSV-Mem. Analysis surfaces findings: 1) multimodality and information density both contribute to difficulty, but state evolution, particularly the number of governing updates, is the dominant tested factor. Raw conversation/haystack length, OCR, and arithmetic are not the primary bottlenecks; 2) models often fail to verify user premises against prior state updates before answering; 3) increased reasoning effort and memory management methods yield limited gains, whereas state-aware designs prove more effective. The benchmark and code will be publicly released.
• Abstract（参考訳）: 会話型MLLMエージェントは、AI研究やエンジニアリングデザインから製品管理やビジネスオペレーションに至るまで、プロフェッショナルなワークフローを支援することがますます期待されている。 既存のベンチマークは主に、非公式で日常的なインタラクションと、写真自然画像、孤立した静的アーティファクト、リコール指向の質問を含む個人生活シナリオに焦点を当てている。 対照的に、プロのシナリオには、頻繁に更新や権限更新を行う構造化された情報量の多いアーティファクトや、状態を正確に追跡しながら多くのアーティファクトのバージョンの調整を必要とするコンポジションクエリが含まれることが多い。 これらの課題に対処するために、Dense Stateful Visual Memoryを評価するためのベンチマークであるDSV-Memを紹介します。 DSV-Memは、専門家がレビューしたシナリオと、ユーザ指向のカテゴリ(Current State、Path State、Derived State、Change History、Conflict/Refusal)の1,000の質問で構成されている。 ハートリーにインスパイアされた基準は、より広い視覚的証拠検査の要求で質問を好んでいる。 また,会話の埋め合わせから状態遷移合成を分離して評価スイートを生成する生成ハーネスも導入する。 最強のベースラインスコアが DSV-Mem の 45% 以下であることが,フロンティアモデルとオープンウェイトモデルとメモリ管理手法にまたがる27以上の構成の評価から明らかになった。 分析表面: 1) マルチモーダリティと情報密度は共に困難に寄与するが, 状態の進化, 特に支配的更新の回数が支配的な要因である。 生会話/ヘイスタック長、OCR、算術が主要なボトルネックではない。 2) モデルは,回答する前に,以前の状態更新に対してユーザ前提の検証に失敗することが多い。 3) 推論の労力の増加とメモリ管理手法は限られた利得をもたらすが, 状態認識設計はより効果的である。 ベンチマークとコードは公開される予定だ。

関連論文リスト

• MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
  本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。 MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。 MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
  論文  参考訳（メタデータ） (2026-05-18T15:43:35Z)
• Memory for Autonomous LLM Agents:Mechanisms, Evaluation, and Emerging Frontiers [0.42061757959666934]
  大きな言語モデル(LLM)エージェントは、単一のコンテキストウィンドウが小さすぎて何が起きているのかをキャプチャできないような環境で、ますます運用される。 メモリはステートレステキストジェネレータを真に適応的なエージェントに変える。 この調査は、メモリがどのように設計され、実装され、現代のLCMベースのエージェントで評価されるかという構造化された説明を提供する。
  論文  参考訳（メタデータ） (2026-03-08T15:08:01Z)
• Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy [28.293009223912602]
  オープンエンド質問応答(英語: Open-ended Question answering, QA)は、モデルが事実的リコールを超えた文脈的推論を行う能力を評価する。 この課題は、知識が手続き的であり、専門的な判断が下されている、実践ベースの領域で特に深刻である。 ブルームの分類学から得られた専門家認可ガイドラインから自動ベンチマーク生成のためのフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-01-28T05:01:11Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Rethinking Human-Object Interaction Evaluation for both Vision-Language Models and HOI-Specific Methods [33.074167753966314]
  本稿では,HOI検出を複数問合せタスクとして再構成するベンチマークデータセットを提案する。 以上の結果から,多くの指標において,大規模VLMが最先端のHOI固有の手法をすでに超越していることが示唆された。
  論文  参考訳（メタデータ） (2025-08-26T07:30:53Z)
• VisualTrans: A Benchmark for Real-World Visual Transformation Reasoning [10.497961559068493]
  ビジュアルトランスフォーメーション推論(VTR)は、知的エージェントが動的シーンを理解するための重要な認知能力である。 既存のベンチマークは、sim-to-realギャップ、タスクの複雑さの制限、不完全な推論カバレッジに悩まされている。 VisualTransは、現実世界の人間とオブジェクトのインタラクションシナリオにおいて、VTR用に特別に設計された最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2025-08-06T03:07:05Z)
• FindingDory: A Benchmark to Evaluate Memory in Embodied Agents [49.18498389833308]
  本研究では,Habitatシミュレータに長距離エンボディタスクのための新しいベンチマークを導入する。 このベンチマークは、持続的なエンゲージメントとコンテキスト認識を必要とする60タスクにわたるメモリベースの機能を評価する。
  論文  参考訳（メタデータ） (2025-06-18T17:06:28Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。