論文の概要: $M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2512.18735v1
- Date: Sun, 21 Dec 2025 13:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.480404
- Title: $M^3-Verse$: A "Spot the Difference" Challenge for Large Multimodal Models
- Title（参考訳）: M^3-Verse$:大規模マルチモーダルモデルの「相違点」挑戦
- Authors: Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang,
- Abstract要約: マルチモーダル,マルチステート,マルチ次元ベンチマークであるM3-Verse$を紹介した。
これは、状態変化の前と後の屋内シーンを多視点で観察する、ペア化されたビデオの上に構築されている。
我々は16の最先端LMMを評価し、状態遷移の追跡における限界を観察する。
- 参考スコア（独自算出の注目度）: 26.923709172476958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern Large Multimodal Models (LMMs) have demonstrated extraordinary ability in static image and single-state spatial-temporal understanding. However, their capacity to comprehend the dynamic changes of objects within a shared spatial context between two distinct video observations, remains largely unexplored. This ability to reason about transformations within a consistent environment is particularly crucial for advancements in the field of spatial intelligence. In this paper, we introduce $M^3-Verse$, a Multi-Modal, Multi-State, Multi-Dimensional benchmark, to formally evaluate this capability. It is built upon paired videos that provide multi-perspective observations of an indoor scene before and after a state change. The benchmark contains a total of 270 scenes and 2,932 questions, which are categorized into over 50 subtasks that probe 4 core capabilities. We evaluate 16 state-of-the-art LMMs and observe their limitations in tracking state transitions. To address these challenges, we further propose a simple yet effective baseline that achieves significant performance improvements in multi-state perception. $M^3-Verse$ thus provides a challenging new testbed to catalyze the development of next-generation models with a more holistic understanding of our dynamic visual world. You can get the construction pipeline from https://github.com/Wal-K-aWay/M3-Verse_pipeline and full benchmark data from https://www.modelscope.cn/datasets/WalKaWay/M3-Verse.
- Abstract（参考訳）: 現代のLMM(Large Multimodal Models)は、静止画像や一状態空間的時間的理解において異常な能力を示した。
しかし、2つの異なるビデオ観察の間で共有された空間的文脈内での物体の動的変化を理解する能力はほとんど解明されていない。
この一貫した環境における変換を推論する能力は、特に空間知能の分野の進歩に不可欠である。
本稿では,M^3-Verse$,Multi-Modal,Multi-State,Multi-dimensional benchmarkを提案する。
これは、状態変化の前と後の屋内シーンを多視点で観察する、ペア化されたビデオの上に構築されている。
ベンチマークには合計270のシーンと2,932の質問が含まれており、4つのコア能力を調査する50以上のサブタスクに分類されている。
我々は16の最先端LMMを評価し、状態遷移の追跡における限界を観察する。
これらの課題に対処するために,我々は,多状態知覚における大幅な性能向上を実現するための,シンプルで効果的なベースラインを提案する。
したがって、$M^3-Verse$は、我々の動的視覚世界をより包括的に理解した次世代モデルの開発を触媒する、挑戦的な新しいテストベッドを提供する。
ビルドパイプラインはhttps://github.com/Wal-K-aWay/M3-Verse_pipelineから、ベンチマークデータはすべてhttps://www.modelscope.cn/datasets/WalKaWay/M3-Verseから取得できます。
関連論文リスト
- VisualTrans: A Benchmark for Real-World Visual Transformation Reasoning [10.497961559068493]
ビジュアルトランスフォーメーション推論(VTR)は、知的エージェントが動的シーンを理解するための重要な認知能力である。
既存のベンチマークは、sim-to-realギャップ、タスクの複雑さの制限、不完全な推論カバレッジに悩まされている。
VisualTransは、現実世界の人間とオブジェクトのインタラクションシナリオにおいて、VTR用に特別に設計された最初の包括的なベンチマークである。
論文 参考訳（メタデータ） (2025-08-06T03:07:05Z) - MORSE-500: A Programmatically Controllable Video Benchmark to Stress-Test Multimodal Reasoning [54.47710436807661]
MORSE-500(MORSE-500)は、6つの補足的推論カテゴリにまたがる500の完全スクリプト化されたクリップを埋め込んだビデオベンチマークである。
各インスタンスは、決定論的Pythonスクリプト(Manim、Matplotlib、MoviePy)、生成ビデオモデル、実際の映像を使用して生成される。
一度飽和すると時代遅れになる静的ベンチマークとは異なり、MORSE-500は進化するために構築されている。
論文 参考訳（メタデータ） (2025-06-05T19:12:45Z) - v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning [27.688428439248607]
簡単なポイント・アンド・コピーアプローチによるアクティブな視覚的参照を可能にする軽量な拡張であるv1を紹介する。
これにより、モデルは関連するイメージパッチを特定し、埋め込みを推論ストリームにコピーすることができる。
我々のポインティング戦略では、MLLMはセマンティックな表現をキーとして直接イメージパッチを選択でき、知覚的証拠はモデルの推論と同じ空間に埋め込まれている。
論文 参考訳（メタデータ） (2025-05-24T19:30:47Z) - M$^3$-VOS: Multi-Phase, Multi-Transition, and Multi-Scenery Video Object Segmentation [51.82272563578793]
本稿では,その視覚的特徴と潜在的な形態的・外見的変化に基づいて,現実世界の物体を分類するセグメンテーションにおける位相の概念を紹介する。
本稿では,オブジェクトの位相を理解するためのモデルの有効性を検証するために,新しいベンチマーク,Multi-Phase,Multi-Transition,Multi-Scenery Video Object (M$3$-VOS)を提案する。
論文 参考訳（メタデータ） (2024-12-18T12:50:11Z) - Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。
バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - ChatterBox: Multi-round Multimodal Referring and Grounding [108.9673313949746]
この目的のために,新しいベンチマークと効率的な視覚言語モデルを提案する。
提案したChatterBoxは、2ブランチアーキテクチャを使って視覚と言語タスクを協調的に処理する。
実験の結果、ChatterBoxはMRGの既存のモデルよりも定量的にも質的にも優れていることがわかった。
論文 参考訳（メタデータ） (2024-01-24T09:02:00Z) - VMamba: Visual State Space Model [98.0517369083152]
状態空間言語モデルであるMambaを、線形時間複雑性を持つビジョンバックボーンであるVMambaに適合させる。
VMambaのコアには2D Selective Scan (SS2D)モジュールを備えたVisual State-Space (VSS)ブロックのスタックがある。
論文 参考訳（メタデータ） (2024-01-18T17:55:39Z) - AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D
Object Detection [17.526914782562528]
我々はAutoAlign上に構築された高速で強力なマルチモーダル3D検出フレームワークであるAutoAlignV2を提案する。
我々の最良のモデルは、nuScenesテストのリーダーボード上で72.4 NDSに達し、新しい最先端の結果が得られます。
論文 参考訳（メタデータ） (2022-07-21T06:17:23Z) - Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。
トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。
また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
論文 参考訳（メタデータ） (2020-12-23T15:23:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。