Fugu-MT 論文翻訳(概要): SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

論文の概要: SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

arxiv url: http://arxiv.org/abs/2512.23365v1
Date: Mon, 29 Dec 2025 10:48:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-30 22:37:30.467218
Title: SpatialMosaic: A Multiview VLM Dataset for Partial Visibility
Title（参考訳）: 空間モザイク:部分可視性のためのマルチビューVLMデータセット
Authors: Kanghee Lee, Injae Lee, Minseok Kwak, Kwonyoung Ryu, Jungi Hong, Jaesik Park,
Abstract要約: 本稿では,現実的な空間推論QAを構築する,スケーラブルなマルチビューデータ生成とアノテーションパイプラインを提案する。本研究では,現実的かつ困難なシナリオ下での多視点空間推論評価のためのベンチマークであるSpatialMosaic-Benchを紹介する。また、3次元再構成モデルを視覚言語モデル内の幾何学エンコーダとして統合するハイブリッドフレームワークであるSpatialMosaicVLMを提案する。
参考スコア（独自算出の注目度）: 25.874299974251965
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid progress of Multimodal Large Language Models (MLLMs) has unlocked the potential for enhanced 3D scene understanding and spatial reasoning. However, existing approaches often rely on pre-constructed 3D representations or off-the-shelf reconstruction pipelines, which constrain scalability and real-world applicability. A recent line of work explores learning spatial reasoning directly from multi-view images, enabling Vision-Language Models (VLMs) to understand 3D scenes without explicit 3D reconstructions. Nevertheless, key challenges that frequently arise in real-world environments, such as partial visibility, occlusion, and low-overlap conditions that require spatial reasoning from fragmented visual cues, remain under-explored. To address these limitations, we propose a scalable multi-view data generation and annotation pipeline that constructs realistic spatial reasoning QAs, resulting in SpatialMosaic, a comprehensive instruction-tuning dataset featuring 2M QA pairs. We further introduce SpatialMosaic-Bench, a challenging benchmark for evaluating multi-view spatial reasoning under realistic and challenging scenarios, consisting of 1M QA pairs across 6 tasks. In addition, we present SpatialMosaicVLM, a hybrid framework that integrates 3D reconstruction models as geometry encoders within VLMs for robust spatial reasoning. Extensive experiments demonstrate that our proposed dataset and VQA tasks effectively enhance spatial reasoning under challenging multi-view conditions, validating the effectiveness of our data generation pipeline in constructing realistic and diverse QA pairs. Code and dataset will be available soon.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)の急速な進歩により、3Dシーンの理解と空間的推論が強化された。しかし、既存のアプローチは、しばしば、事前構築された3D表現またはオフザシェルフ再構築パイプラインに依存しており、スケーラビリティと実世界の適用性を制約している。最近の研究は、多視点画像から直接空間的推論を学習し、視覚言語モデル(VLM)が明示的な3D再構成なしに3Dシーンを理解できるようにしている。それでも、断片化された視覚的手がかりから空間的推論を必要とする部分的な可視性、閉塞性、低オーバーラップ条件といった、現実世界の環境において頻繁に発生する重要な課題は、未探索のままである。これらの制約に対処するために,現実的な空間的推論QAを構築するスケーラブルなマルチビューデータ生成およびアノテーションパイプラインを提案し,その結果,2M QAペアを備えた総合的な命令チューニングデータセットであるSpatialMosaicが得られた。さらに、現実的で挑戦的なシナリオ下で、多視点空間推論を評価するための挑戦的なベンチマークであるSpatialMosaic-Benchを紹介する。さらに,3次元再構成モデルをVLM内の幾何エンコーダとして統合し,ロバストな空間推論を行うハイブリッドフレームワークであるSpatialMosaicVLMを提案する。大規模な実験により,提案したデータセットとVQAタスクは,課題の多いマルチビュー条件下での空間的推論を効果的に向上し,現実的で多様なQAペアを構築する上でのデータ生成パイプラインの有効性を検証した。コードとデータセットは近く提供される。

論文の概要: SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

関連論文リスト