論文の概要: SphMind: Towards Robust, Training-Free VLM-based Spatial Reasoning with a 360 Camera
- arxiv url: http://arxiv.org/abs/2609.33462v2
- Date: Tue, 29 Sep 2026 04:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.672192
- Title: SphMind: Towards Robust, Training-Free VLM-based Spatial Reasoning with a 360 Camera
- Title（参考訳）: SphMind:360度カメラによるロバストでトレーニング不要なVLMベースの空間推論を目指して
- Abstract要約: 360度カメラは、周囲の全体的広視野(FoV)ビューを具現化したAIエージェントを提供する。
MLLMは、従来の2次元視点画像に基づいて訓練され、球形形状によって引き起こされる厳しい歪みやラッパーアラウンドの不連続に苦慮する。
幾何学的推論から意味認識を分離する学習自由なプラグアンドプレイフレームワークであるSphMindを提案する。
- 参考スコア（独自算出の注目度）: 13.507609508228432
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Omnidirectional or 360 cameras provide embodied AI agents with a holistic, wide field-of-view (FoV) view of their surroundings, motivating the use of Multi-modal Large Language Models (MLLMs) for omnidirectional spatial reasoning. However, most MLLMs are trained on conventional 2D perspective images and struggle with the severe distortions and wrap-around discontinuities induced by spherical geometry. Enabling them to generalize to non-Euclidean 3D spaces without retraining therefore remains challenging. We propose SphMind, a training-free, plug-and-play framework that decouples semantic perception from geometric reasoning. Rather than requiring MLLMs to learn spherical geometry internally, SphMind preserves their semantic capabilities while handling geometry externally. We introduce a Spherical Harmonics-based Spatial Graph (SHSG) that models spatial relationships through equivariant transformations on the sphere, together with Inference-Time Geometric Grounding (IGG), a model-agnostic closed-loop optimization process that aligns MLLM representations with spherical geometric constraints during inference. Experiments on three benchmarks show that SphMind achieves over 21.4% average improvement in directional reasoning on MP3D and Stanford2D-3D, outperforms prompt-engineering baselines by 8.7% on the real-world ODI-Bench, and improves rotational invariance by 5.9% under panorama rotations, without additional training or dataset-specific tuning. In-the-wild evaluations further show that SphMind resolves directional reasoning queries that baseline vision-language models fail to answer correctly.
- Abstract（参考訳）: 全方向または360度カメラは、全方向の空間的推論にMLLM(Multi-modal Large Language Models)の使用を動機として、その周囲の全体的、広視野(FoV)ビューを備えたエンボディAIエージェントを提供する。
しかし、ほとんどのMLLMは従来の2次元視点画像に基づいて訓練されており、球面形状によって引き起こされる厳しい歪みやラップアラウンドの不連続に悩まされている。
したがって、それらをユークリッドでない3次元空間に再訓練せずに一般化させるのは困難である。
幾何学的推論から意味認識を分離する学習自由なプラグアンドプレイフレームワークであるSphMindを提案する。
SphMindはMLLMに内部で球形幾何学を学習させるのではなく、外部で幾何学を処理しながら意味的な能力を保っている。
Inference-Time Geometric Grounding (IGG)とともに、球面上の等変変換による空間関係をモデル化するSpherical Harmonics-based Spatial Graph (SHSG)を紹介した。
3つのベンチマークの実験では、SphMindはMP3DとStanford2D-3Dの方向推論における平均21.4%以上の改善を達成し、現実世界のODI-Benchにおいて、プロンプトエンジニアリングのベースラインを8.7%上回り、追加のトレーニングやデータセット固有のチューニングなしで、パノラマ回転下での回転不変性を5.9%改善している。
In-the-wild評価により、SphMindは、ベースラインの視覚言語モデルでは正しく答えられない方向推論クエリを解決している。
関連論文リスト
- SpaR3D-MoE: Adaptive 3D Spatial Reasoning from Sparse Views Meets Geometry-Inductive Mixture-of-Experts [9.401672754315614]
SpaR3DMoEは、粗いRGB入力のみから幾何学的認識機能を備えたMLLMによる適応的空間推論を可能にするエンドツーエンドのフレームワークである。
論文 参考訳（メタデータ） (2026-07-07T09:27:38Z) - Reinforcing Dual-Path Reasoning in Spatial Vision Language Models [113.86271063627782]
本稿では,空間的VLMにLOR(Language-Only Reasoning)とDTR(Detect-Then-Reason)の2つの相補的推論経路を持つ統一的なフレームワークを提案する。
様々な空間ベンチマークにおいて、SR-REALは空間的VLMベースラインを著しく上回る。
論文 参考訳（メタデータ） (2026-06-16T05:32:39Z) - Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。
表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。
空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-06-04T08:11:12Z) - Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning [24.251128353444713]
VLM(Vision-Language Models)は、しばしば堅牢な3次元空間推論に苦しむ。
GASP(Geometric Aware Spatial Priors)は,LLMのトランスフォーマー層に直接,基本的な幾何学的事前を注入するフレームワークである。
GASPは、すべての層にまたがる深い監視信号として応用された小さな対応ヘッドを使用し、地上の映像シーンを活用する2つの目的で訓練されている。
論文 参考訳（メタデータ） (2026-05-28T17:00:52Z) - SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness [62.38746300197673]
本稿では、3次元幾何学的認識を統合画像生成モデルに内包する新しいフレームワークを提案する。
具体的には、まずMixture-of-Transformers (MoT)アーキテクチャを用いて、MLLMを並列空間変換器で拡張する。
自己注意をMLLMと共有することにより、空間変換器は、リッチなセマンティックコンテキストからターゲット画像の計量深度マップを導出することを学ぶ。
これらの明示的な幾何学的足場は、特殊深度アダプターを介して拡散バックボーンに注入される。
論文 参考訳（メタデータ） (2026-04-29T06:46:59Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - UniQueR: Unified Query-based Feedforward 3D Reconstruction [68.01984215138098]
提案するUniQueRは,未提示画像からの3次元再構成を効率よく正確に行うための,クエリベースの統合フィードフォワードフレームワークである。
我々のモデルは、明示的な幾何学的クエリとして機能する3Dアンカー点のコンパクトな集合を学習する。
Mip-NeRF 360とVR-NeRFの実験により、UniQueRはレンダリング品質と幾何学的精度の両方において最先端のフィードフォワード法を上回ることを示した。
論文 参考訳（メタデータ） (2026-03-24T06:42:02Z) - GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。
既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。
本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
論文 参考訳（メタデータ） (2026-03-17T12:43:48Z) - SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs [21.891285551179365]
Spherical Coordinate-based Positional Embedding (SoPE)を紹介する。
本手法は,3次元球面座標空間に点-クラウドトークンのインデックスをマッピングし,空間位置と方向角の統一モデリングを可能にする。
この定式化は、点クラウドデータの固有の幾何学的構造を保持し、空間的認識を高め、マルチモーダル学習のためのより一貫性があり表現力のある幾何学的表現をもたらす。
論文 参考訳（メタデータ） (2026-02-26T07:42:15Z) - Spa3R: Predictive Spatial Field Modeling for 3D Visual Reasoning [43.746951848993035]
空間知能は、明示的な空間的インストラクションチューニングによって課されるのではなく、2次元視覚のみから現れる。
本稿では,未提示のマルチビュー画像から直接,空間表現の統一化を学習する,自己教師型フレームワークであるSpa3Rを紹介する。
実験では、Spa3-VLMが3D VQAで58.6%の最先端の精度を達成し、従来の方法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-02-24T18:37:34Z) - Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。
階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。
実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
論文 参考訳（メタデータ） (2026-02-08T09:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。