論文の概要: CrossView Suite: Harnessing Cross-view Spatial Intelligence of MLLMs with Dataset, Model and Benchmark

• arxiv url: http://arxiv.org/abs/2605.18621v1
• Date: Mon, 18 May 2026 16:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.017749
• Title: CrossView Suite: Harnessing Cross-view Spatial Intelligence of MLLMs with Dataset, Model and Benchmark
• Title（参考訳）: CrossView Suite: MLLMのクロスビュー空間インテリジェンスをデータセット、モデル、ベンチマークで損なう
• Authors: Wei Wang, Yuqian Yuan, Tianwei Lin, Wenqiao Zhang, Siliang Tang, Jun Xiao, Yueting Zhuang,
• Abstract要約: 空間知能は、単一視点の知覚と理性を超えるためにマルチモーダルな大言語モデル(MLLM)を必要とする。 CrossView Suiteは、CrossViewSet、CrossViewBench、CrossViewerの3つの協調コンポーネントで開発しています。 提案手法は, 適応型空間領域トークンーザを備え, 微細なオブジェクト表現をキャプチャし, マルチビューオブジェクトを明示的にアライメントする。
• 参考スコア（独自算出の注目度）: 77.29150285469736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial intelligence requires multimodal large language models (MLLMs) to move beyond single-view perception and reason consistently about objects, visibility, geometry, and interactions across multiple viewpoints. However, progress in cross-view reasoning remains limited by three major gaps: the scarcity of large-scale well-annotated training data, the lack of comprehensive benchmarks for systematic evaluation, and the absence of explicit alignment mechanisms that establish object-level consistency across views. To address these gaps, we thoroughly develop CrossView Suite across three coordinated components: CrossViewSet, CrossViewBench, and CrossViewer. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality cross-view instruction dataset, termed CrossViewSet, covering 17 fine-grained task types with 1.6M samples. Second, we meticulously create a scene-disjoint CrossViewBench to comprehensively assess the cross-view spatial understanding capability of an MLLM, evaluating it across various aspects. Finally, we propose CrossViewer, a progressive three-stage framework for cross-view spatial reasoning in MLLMs, following a Perception -> Alignment -> Reasoning paradigm. Our method equips an adaptive spatial region tokenizer to capture fine-grained object representations, and then aligns the multi-view objects explicitly, and thus fuses aligned features for boosting the cross-view inference capacity for MLLMs. Extensive experiments and analyses show that large-scale training data, systematic evaluation, and explicit cross-view alignment are all critical for advancing MLLMs from single-view perception toward real-world spatial intelligence. The project page is available at https://github.com/Thinkirin/Crossview-Suite.
• Abstract（参考訳）: 空間知能は、単一視点の知覚を超えて、オブジェクト、可視性、幾何学、および複数の視点にわたる相互作用について一貫した推論を行うために、マルチモーダルな大言語モデル(MLLM)を必要とする。 しかしながら、クロスビュー推論の進歩は、大規模に注釈付けされたトレーニングデータの不足、体系的な評価のための包括的なベンチマークの欠如、ビュー間のオブジェクトレベルの一貫性を確立する明示的なアライメントメカニズムの欠如という3つの大きなギャップによって制限されている。 これらのギャップに対処するため、私たちはCrossViewSet、CrossViewBench、CrossViewerという3つの調整済みコンポーネントでCrossView Suiteを徹底的に開発しています。 まず,CrossViewSetと呼ばれる大規模かつ高品質なクロスビュー命令データセットを慎重にキュレートするマルチエージェントデータエンジンを導入する。 第2に,シーン分離型CrossViewBenchを作成し,MLLMのクロスビュー空間理解能力を総合的に評価し,様々な側面で評価する。 最後に,CrossViewerを提案する。CrossViewerは,MLLMにおいて,パーセプション->アライメント->推論パラダイムに従って,クロスビュー空間推論のためのプログレッシブな3段階フレームワークである。 提案手法は, 適応型空間領域トークンーザを用いて細粒度オブジェクトの表現を捕捉し, 多視点オブジェクトを明示的に整列させ, MLLMのクロスビュー推論能力を高めるために, 整列した特徴を融合させる。 大規模トレーニングデータ,体系的評価,明示的なクロスビューアライメントが,MLLMを単一視点の知覚から現実の空間知性へと前進させる上で重要であることを示す。 プロジェクトのページはhttps://github.com/Thinkirin/Crossview-Suite.comで公開されている。

関連論文リスト

• Learning Multi-View Spatial Reasoning from Cross-View Relations [25.46703240216267]
  Cross-View Relations (XVR)は、複数のビューにまたがる空間的推論を教えるために設計された大規模なデータセットである。 XVRは18Kの多様な3Dシーンと70Kのロボット操作トラジェクトリから得られた100Kの視覚探索回答サンプルで構成されている。 本研究は,多視点空間関係の明示的なトレーニングにより,多視点推論と実世界のロボット操作への効果的移行が著しく促進されることを示す。
  論文  参考訳（メタデータ） (2026-03-30T02:42:25Z)
• Wasserstein-Aligned Hyperbolic Multi-View Clustering [58.29261653100388]
  本稿では,マルチビュークラスタリングのための新しいWasserstein-Aligned Hyperbolic(WAH)フレームワークを提案する。 本手法はビュー固有の双曲エンコーダを用いて特徴をローレンツ多様体に埋め込んで階層的セマンティックモデリングを行う。
  論文  参考訳（メタデータ） (2025-12-10T07:56:19Z)
• 3D-Aware Multi-Task Learning with Cross-View Correlations for Dense Scene Understanding [18.76513756741288]
  現在のアプローチは主に2D画像空間におけるクロスタスク関係を捉えており、しばしば3D認識に欠ける非構造的特徴に繋がる。 MTLネットワークにおける幾何学的整合性として,ビュー間の相関,すなわちコスト容積を統合することで,この問題に対処することを提案する。 具体的には、タスク間で共有される軽量なクロスビューモジュール(CvM)を導入し、ビュー間で情報を交換し、クロスビューの相関を捉える。
  論文  参考訳（メタデータ） (2025-11-25T18:59:34Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs [41.072699990427374]
  マルチビュー理解は、マルチモーダル大言語モデル(MLLM)において、エンボディエージェントとして使用されるための基本的な課題である。 我々は、90の現実世界のシーンに2,100人以上の注意深い注釈付き質問応答対のベンチマークであるAll-Angles Benchを提案する。 Gemini-2.0-Flash, Claude-3.7-Sonnet, GPT-4o など27のMLLMを人体評価器に対してベンチマークした結果, 性能差は顕著であった。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• CrossOver: 3D Scene Cross-Modal Alignment [78.3057713547313]
  CrossOverは、クロスモーダルな3Dシーン理解のための新しいフレームワークである。 モダリティを整列させることにより、シーンの統一的でモダリティに依存しない埋め込み空間を学ぶ。 堅牢なシーン検索とオブジェクトのローカライゼーションをサポートする。
  論文  参考訳（メタデータ） (2025-02-20T20:05:30Z)
• ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives [109.11714588441511]
  Ego-Exoオブジェクト対応タスクは,セグメンテーションを通じて,ego-Exoパースペクティブ間のオブジェクト関係を理解することを目的としている。 最近提案されたセグメンテーション手法であるPSALMは、このタスクでデモされたゼロショット能力を例外として挙げている。 我々は、マルチモーダルコンディションフュージョンとSSLベースのクロスビューオブジェクトアライメントという、2つの重要なモジュールを特徴とする新しいアプローチであるObjectRelatorを提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:01:03Z)
• Learning Object-Centric Representations of Multi-Object Scenes from Multiple Views [9.556376932449187]
  マルチビュー・マルチオブジェクトネットワーク(マルチビュー・マルチオブジェクトネットワーク、MulMON)は、複数のビューを活用することで、複数のオブジェクトシーンの正確なオブジェクト中心表現を学習する手法である。 我々は,MulMONが単一視点法よりも空間的曖昧性をよく解いていることを示す。
  論文  参考訳（メタデータ） (2021-11-13T13:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。