論文の概要: OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping
- arxiv url: http://arxiv.org/abs/2607.00881v1
- Date: Wed, 01 Jul 2026 12:45:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.893965
- Title: OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping
- Title（参考訳）: OmniView-Space:多視点空間マッピングによる空間推論の強化
- Abstract要約: OmniView-Spaceはマルチモーダルなエゴセントリックなエビデンスを通じて空間の一貫性を維持するために設計されたフレームワークである。
提案手法は, マルチパースペクティブ空間マッピング (MPSM) の3つのコアコンポーネントから構成される。(1) 幾何をクエリ整列型視覚認知マップとテキスト空間グラフに再構成する手法,(2) クエリによって要求されるエゴアンカーを積極的に選択し,対応するMPSM証拠を要求するためのインターリーブドポリシー,(3) MPSM生成トラジェクトリとエゴフレーム報酬を用いてモデルを自己生成認知マップで推論する認知マップ蒸留である。
- 参考スコア（独自算出の注目度）: 69.48762031013514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatial intelligence remains a persistent challenge for Multimodal Large Language Models (MLLMs), as it requires coherent spatial scene representations beyond basic object recognition. Existing methods typically build such representations through textual reasoning or 3D reconstruction. However, they often falter during multi-step reasoning, particularly when required to dynamically re-anchor evidence to the specific camera-, object-, or direction-centric reference frames demanded by complex queries. To address this, we propose OmniView-Space, a framework designed to maintain spatial consistency through multimodal egocentric evidence. Our approach consists of three core components: (1) Multi-Perspective Spatial Mapping (MPSM), which re-anchors reconstructed geometry into a query-aligned visual cognitive map and a textual spatial graph; (2) Tool-Guided Egocentric Reasoning, an interleaved policy trained to actively select the ego anchor required by the query and request the corresponding MPSM evidence; and (3) Cognitive-Map Distillation, which uses MPSM-generated trajectories and ego-frame rewards to train the model to reason with self-generated cognitive maps. Experiments on single- and multi-image spatial reasoning benchmarks show that OmniView-Space achieves state-of-the-art performance. Furthermore, the distilled model maintains this performance while reducing reliance on external geometry pipelines.
- Abstract（参考訳）: 空間知能は、基本的なオブジェクト認識以上のコヒーレントな空間シーン表現を必要とするため、MLLM(Multimodal Large Language Models)にとって永続的な課題である。
既存の手法は典型的には、テキスト推論や3D再構成によってそのような表現を構築する。
しかし、多段階推論において、特に複雑なクエリによって要求される特定のカメラ、オブジェクト、方向中心の参照フレームに対する証拠を動的に修正する必要がある場合、しばしばフェールする。
そこで我々は,マルチモーダルなエゴセントリックなエビデンスを通じて空間の一貫性を維持するためのフレームワークであるOmniView-Spaceを提案する。
提案手法は, マルチパースペクティブ空間マッピング (MPSM) の3つの要素から成り, 幾何をクエリアラインな視覚認知地図とテキスト空間グラフに再構成する手法, 2) クエリによって要求されるエゴアンカーを積極的に選択し, 対応するMPSM証拠を要求するためのインターリーブドポリシー, (3) MPSM生成トラジェクトリとエゴフレーム報酬を用いてモデルを自己生成認知地図で推論する認知マップ蒸留の3つからなる。
単一画像と複数画像の空間推論ベンチマーク実験により,OmniView-Spaceが最先端の性能を実現することが示された。
さらに, 蒸留モデルでは, 外部形状パイプラインへの依存を低減しつつ, この性能を維持している。
関連論文リスト
- MV-STRIDE: Enabling MLLMs to Master Multi-View Spatial Reasoning via Hierarchical Capability Modeling [22.069318507340423]
MV-STRIDE, Interdependent および DE capabilitiEs を用いた階層型スパチュアル推論データセットについて紹介する。
MV-STRIDEはフラットなデータ構造を超えて、知覚、シーン理解、複雑なコンテキスト推論の間の依存関係関係を明示的にモデル化する。
そこで我々は,多種多様な3Dシーンソースを活用して,相互依存性の制約を強制する,系統的なQA生成パイプラインを開発した。
論文 参考訳（メタデータ） (2026-09-07T09:14:13Z) - Reasmory: 3D Reconstruction as Explicit Memory for VLMs Spatial Reasoning [43.950190960277865]
VLM(Vision-Language Models)は、空間的推論能力の出現を示すが、正確な空間的理解を必要とするタスクには信頼できない。
再構成空間メモリ上での構造化プログラム実行として空間推論を定式化するフレームワークであるtextbfReasmoryを提案する。
Reasmoryは明示的な3Dメモリを構築し、セマンティックな3Dオブジェクトインスタンスで拡張し、軽量なDomain-Specific Languageを導入している。
論文 参考訳（メタデータ） (2026-05-31T02:36:57Z) - Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。
RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。
GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-25T01:33:19Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。
モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。
DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
論文 参考訳（メタデータ） (2026-02-11T12:51:10Z) - Uni-RS: A Spatially Faithful Unified Understanding and Generation Model for Remote Sensing [9.357861053928898]
統一されたリモートセンシングマルチモーダルモデルは、明らかに空間的逆転の呪いを示す。
リモートセンシングに適した最初の統一モデルUni-RSを提案する。
本研究では,テキスト・画像生成における空間忠実度を大幅に向上させる手法を提案する。
論文 参考訳（メタデータ） (2026-01-25T03:22:26Z) - SpatialMosaic: A Multiview VLM Dataset for Partial Visibility [25.874299974251965]
本稿では,現実的な空間推論QAを構築する,スケーラブルなマルチビューデータ生成とアノテーションパイプラインを提案する。
本研究では,現実的かつ困難なシナリオ下での多視点空間推論評価のためのベンチマークであるSpatialMosaic-Benchを紹介する。
また、3次元再構成モデルを視覚言語モデル内の幾何学エンコーダとして統合するハイブリッドフレームワークであるSpatialMosaicVLMを提案する。
論文 参考訳（メタデータ） (2025-12-29T10:48:54Z) - REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories [19.741468026765062]
本稿では,空間推論のための制御可能な3次元環境を用いたベンチマークREM(Reasoning over Embodied Multi-Frame Trajectories)を紹介する。
REMは、オブジェクトの永続性/識別、空間的関係、動的エンボディされた視点における数値的追跡などの重要な側面を体系的に評価する。
評価の結果、最高の性能を示す現在のモデルでは、全体的な性能が期待できるが、人間によって容易に扱える程度の複雑性レベルでは信頼性が低下していることがわかった。
論文 参考訳（メタデータ） (2025-11-30T05:20:22Z) - Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks [108.15756345836901]
大規模モデルを用いたマルチモーダル空間推論タスクの包括的レビューを行う。
我々は、視覚言語ナビゲーションやアクションモデルを含む、具体的AIの進歩についてレビューする。
我々は,新しいセンサによる空間的理解に寄与する音声やエゴセントリックビデオなどの新たなモダリティを考察する。
論文 参考訳（メタデータ） (2025-10-29T17:55:43Z) - Dynamic Double Space Tower [4.553359878415195]
本研究は,モデルの推論能力を高めるために,注目機構を置き換える新しい手法を提案する。
具体的には,人間のジェスチャー視覚の原理に従って画像の観察を行うために,動的双方向空間タワーを4層に分割して提案する。
これは自然界において、エンティティ間の空間的構造に強力な構造的事前を与えるため、もはやピクセル間の関係を盲目的に検索することができない。
論文 参考訳（メタデータ） (2025-06-13T01:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。