論文の概要: $M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2512.18735v1
• Date: Sun, 21 Dec 2025 13:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.480404
• Title: $M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models
• Title（参考訳）: M^3-Verse$:大規模マルチモーダルモデルの「相違点」挑戦
• Abstract要約: マルチモーダル,マルチステート,マルチ次元ベンチマークであるM3-Verse$を紹介した。 これは、状態変化の前と後の屋内シーンを多視点で観察する、ペア化されたビデオの上に構築されている。 我々は16の最先端LMMを評価し、状態遷移の追跡における限界を観察する。
• 参考スコア（独自算出の注目度）: 26.923709172476958
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Large Multimodal Models (LMMs) have demonstrated extraordinary ability in static image and single-state spatial-temporal understanding. However, their capacity to comprehend the dynamic changes of objects within a shared spatial context between two distinct video observations, remains largely unexplored. This ability to reason about transformations within a consistent environment is particularly crucial for advancements in the field of spatial intelligence. In this paper, we introduce $M^3-Verse$, a Multi-Modal, Multi-State, Multi-Dimensional benchmark, to formally evaluate this capability. It is built upon paired videos that provide multi-perspective observations of an indoor scene before and after a state change. The benchmark contains a total of 270 scenes and 2,932 questions, which are categorized into over 50 subtasks that probe 4 core capabilities. We evaluate 16 state-of-the-art LMMs and observe their limitations in tracking state transitions. To address these challenges, we further propose a simple yet effective baseline that achieves significant performance improvements in multi-state perception. $M^3-Verse$ thus provides a challenging new testbed to catalyze the development of next-generation models with a more holistic understanding of our dynamic visual world. You can get the construction pipeline from https://github.com/Wal-K-aWay/M3-Verse_pipeline and full benchmark data from https://www.modelscope.cn/datasets/WalKaWay/M3-Verse.
• Abstract（参考訳）: 現代のLMM(Large Multimodal Models)は、静止画像や一状態空間的時間的理解において異常な能力を示した。 しかし、2つの異なるビデオ観察の間で共有された空間的文脈内での物体の動的変化を理解する能力はほとんど解明されていない。 この一貫した環境における変換を推論する能力は、特に空間知能の分野の進歩に不可欠である。 本稿では,M^3-Verse$,Multi-Modal,Multi-State,Multi-dimensional benchmarkを提案する。 これは、状態変化の前と後の屋内シーンを多視点で観察する、ペア化されたビデオの上に構築されている。 ベンチマークには合計270のシーンと2,932の質問が含まれており、4つのコア能力を調査する50以上のサブタスクに分類されている。 我々は16の最先端LMMを評価し、状態遷移の追跡における限界を観察する。 これらの課題に対処するために,我々は,多状態知覚における大幅な性能向上を実現するための,シンプルで効果的なベースラインを提案する。 したがって、$M^3-Verse$は、我々の動的視覚世界をより包括的に理解した次世代モデルの開発を触媒する、挑戦的な新しいテストベッドを提供する。 ビルドパイプラインはhttps://github.com/Wal-K-aWay/M3-Verse_pipelineから、ベンチマークデータはすべてhttps://www.modelscope.cn/datasets/WalKaWay/M3-Verseから取得できます。

関連論文リスト

• MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs [40.317798580235]
  VLMの最近のベンチマークは、単一の視点または限られた視点の知覚を主に評価し、視点をまたいだ観察を一貫性のある世界中心の(偏心的な)3Dメンタルモデルに統合するコア認知能力を未検証のまま残している。 我々は,総合的な3Dシーン理解のためのマルチビュー統合を評価するための診断ベンチマークであるMultiView-Benchを紹介する。 情報的視点を積極的に選択し、知覚し、多視点エビデンスを融合するマルチエージェントフレームワークであるViewNavigatorを提案する。
  論文  参考訳（メタデータ） (2026-07-09T22:22:42Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
  マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T15:09:14Z)
• VisualTrans: A Benchmark for Real-World Visual Transformation Reasoning [10.497961559068493]
  ビジュアルトランスフォーメーション推論(VTR)は、知的エージェントが動的シーンを理解するための重要な認知能力である。 既存のベンチマークは、sim-to-realギャップ、タスクの複雑さの制限、不完全な推論カバレッジに悩まされている。 VisualTransは、現実世界の人間とオブジェクトのインタラクションシナリオにおいて、VTR用に特別に設計された最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2025-08-06T03:07:05Z)
• MORSE-500: A Programmatically Controllable Video Benchmark to Stress-Test Multimodal Reasoning [54.47710436807661]
  MORSE-500(MORSE-500)は、6つの補足的推論カテゴリにまたがる500の完全スクリプト化されたクリップを埋め込んだビデオベンチマークである。 各インスタンスは、決定論的Pythonスクリプト(Manim、Matplotlib、MoviePy)、生成ビデオモデル、実際の映像を使用して生成される。 一度飽和すると時代遅れになる静的ベンチマークとは異なり、MORSE-500は進化するために構築されている。
  論文  参考訳（メタデータ） (2025-06-05T19:12:45Z)
• v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning [27.688428439248607]
  簡単なポイント・アンド・コピーアプローチによるアクティブな視覚的参照を可能にする軽量な拡張であるv1を紹介する。 これにより、モデルは関連するイメージパッチを特定し、埋め込みを推論ストリームにコピーすることができる。 我々のポインティング戦略では、MLLMはセマンティックな表現をキーとして直接イメージパッチを選択でき、知覚的証拠はモデルの推論と同じ空間に埋め込まれている。
  論文  参考訳（メタデータ） (2025-05-24T19:30:47Z)
• OmniDiff: A Comprehensive Benchmark for Fine-grained Image Difference Captioning [8.438910952889854]
  OmniDiffは324の多様なシナリオスパンニング現実環境と3D合成環境からなる包括的データセットである。 M$3$Diffは、MDP(Multi-scale Differential Perception)モジュールによって拡張されたMultiModalの大型言語モデルである。 M$3$Diffは、Spot-the-Diff、IEdit、CLEVR-Change、CLEVR-DC、OmniDiffなど、複数のベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-14T05:34:16Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• M$^3$-VOS: Multi-Phase, Multi-Transition, and Multi-Scenery Video Object Segmentation [51.82272563578793]
  本稿では,その視覚的特徴と潜在的な形態的・外見的変化に基づいて,現実世界の物体を分類するセグメンテーションにおける位相の概念を紹介する。 本稿では,オブジェクトの位相を理解するためのモデルの有効性を検証するために,新しいベンチマーク,Multi-Phase,Multi-Transition,Multi-Scenery Video Object (M$3$-VOS)を提案する。
  論文  参考訳（メタデータ） (2024-12-18T12:50:11Z)
• Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。 バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• ChatterBox: Multi-round Multimodal Referring and Grounding [108.9673313949746]
  この目的のために,新しいベンチマークと効率的な視覚言語モデルを提案する。 提案したChatterBoxは、2ブランチアーキテクチャを使って視覚と言語タスクを協調的に処理する。 実験の結果、ChatterBoxはMRGの既存のモデルよりも定量的にも質的にも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-24T09:02:00Z)
• VMamba: Visual State Space Model [98.0517369083152]
  状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。 VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
  論文  参考訳（メタデータ） (2024-01-18T17:55:39Z)
• M$^3$Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection [22.60675416709486]
  M$3$Netは、Salient Object Detectionのためのアテンションネットワークである。 マルチレベル特徴間の相互作用を実現するためのクロスアテンションアプローチ。 Mixed Attention Blockは、グローバルレベルとローカルレベルの両方でコンテキストをモデリングすることを目的としている。 集約された特徴をステージごとに最適化するためのマルチレベル監視戦略。
  論文  参考訳（メタデータ） (2023-09-15T12:46:14Z)
• AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D Object Detection [17.526914782562528]
  我々はAutoAlign上に構築された高速で強力なマルチモーダル3D検出フレームワークであるAutoAlignV2を提案する。 我々の最良のモデルは、nuScenesテストのリーダーボード上で72.4 NDSに達し、新しい最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-07-21T06:17:23Z)
• Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
  ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。 トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。 また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
  論文  参考訳（メタデータ） (2020-12-23T15:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。