論文の概要: SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning
- arxiv url: http://arxiv.org/abs/2603.00409v1
- Date: Sat, 28 Feb 2026 02:05:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.176307
- Title: SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning
- Title（参考訳）: SSR:構造化されたシーン推論による空間知能の限界を推し進める
- Authors: Yi Zhang, Youya Xia, Yong Wang, Meng Song, Xin Wu, Wenjun Wan, Bingbing Liu, AiXue Ye, Hongbo Zhang, Feng Wen,
- Abstract要約: SSRはStructured Scene Reasoning用に設計されたフレームワークである。
軽量アライメント機構によって2Dと3Dの表現をシームレスに統合する。
複数の空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 30.87517633729756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Multimodal Large Language Models (MLLMs) excel in semantic tasks, they frequently lack the "spatial sense" essential for sophisticated geometric reasoning. Current models typically suffer from exorbitant modality-alignment costs and deficiency in fine-grained structural modeling precision.We introduce SSR, a framework designed for Structured Scene Reasoning that seamlessly integrates 2D and 3D representations via a lightweight alignment mechanism. To minimize training overhead, our framework anchors 3D geometric features to the large language model's pre-aligned 2D visual semantics through cross-modal addition and token interleaving, effectively obviating the necessity for large-scale alignment pre-training. To underpin complex spatial reasoning, we propose a novel scene graph generation pipeline that represents global layouts as a chain of independent local triplets defined by relative coordinates. This is complemented by an incremental generation algorithm, enabling the model to construct "language-model-friendly" structural scaffolds for complex environments. Furthermore, we extend these capabilities to global-scale 3D global grounding task, achieving absolute metric precision across heterogeneous data sources. At a 7B parameter scale, SSR achieves state-of-the-art performance on multiple spatial intelligence benchmarks, notably scoring 73.9 on VSI-Bench. Our approach significantly outperforms much larger models, demonstrating that efficient feature alignment and structured scene reasoning are the cornerstones of authentic spatial intelligence.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は意味論において優れているが、高度な幾何学的推論に不可欠な「空間感覚」を欠いていることが多い。
SSR(Structured Scene Reasoning)は2Dおよび3D表現を軽量アライメント機構を介してシームレスに統合する構造的シーン推論のためのフレームワークである。
トレーニングのオーバーヘッドを最小限に抑えるため,我々のフレームワークは,クロスモーダル加算とトークンインターリービングにより,大規模言語モデルの2次元視覚意味論に3次元幾何学的特徴を固定し,大規模アライメント事前学習の必要性を効果的に回避する。
複雑な空間的推論の基盤となるために,グローバルなレイアウトを,相対座標で定義された独立な局所三重項の連鎖として表現する,新しいシーングラフ生成パイプラインを提案する。
これはインクリメンタルな生成アルゴリズムによって補完され、複雑な環境のための"言語モデルに優しい"構造的な足場を構築することができる。
さらに、これらの機能をグローバルな3次元グローバルグラウンドタスクに拡張し、異種データソース間で絶対的なメートル法精度を達成する。
7Bパラメータスケールでは、SSRは複数の空間的インテリジェンスベンチマークで最先端のパフォーマンスを達成し、特にVSI-Benchでは73.9を記録した。
提案手法は,高効率な特徴アライメントと構造的シーン推論が真の空間知能の基盤であることを示す。
関連論文リスト
- Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding [80.66591664266744]
Lemonは3Dポイントクラウドパッチと言語トークンを単一のシーケンスとして処理する統合トランスフォーマーアーキテクチャである。
3次元データの複雑さに対処するため,空間的コンテキストを保存するための構造化パッチやトークン化方式を開発した。
Lemonは、総合的な3D理解と推論タスクにまたがって、最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2025-12-14T20:02:43Z) - Enhancing Floor Plan Recognition: A Hybrid Mix-Transformer and U-Net Approach for Precise Wall Segmentation [0.0]
本研究では,Mix-TransformerエンコーダとU-Netデコーダを組み合わせたハイブリッドニューラルネットワークMitUNetを紹介する。
我々の手法は精度とリコールのバランスを保ち、正確な境界回復を保証する。
CubiCasa5kデータセットと独自の地域データセットの実験は、構造的に正しいマスクを生成する上でのMitUNetの優位性を示している。
論文 参考訳（メタデータ） (2025-12-02T04:47:53Z) - LATTICE: Democratize High-Fidelity 3D Generation at Scale [27.310104395842075]
LATTICEは高忠実度3Dアセット生成のための新しいフレームワークである。
VoxSetは、3Dの資産を粗いボクセル格子に固定された潜在ベクトルのコンパクトな集合に圧縮する半構造化表現である。
提案手法のコアは単純だが,任意の解像度復号化,低コストトレーニング,フレキシブル推論スキームをサポートする。
論文 参考訳（メタデータ） (2025-11-24T03:22:19Z) - SegSplat: Feed-forward Gaussian Splatting and Open-Set Semantic Segmentation [114.57192386025373]
SegSplatは、高速でフィードフォワードな3D再構成とリッチでオープンなセマンティック理解のギャップを埋めるために設計された、新しいフレームワークである。
この研究は、意味的に認識された3D環境の実践的でオンザフライな生成に向けた重要なステップである。
論文 参考訳（メタデータ） (2025-11-23T10:26:38Z) - CUS-GS: A Compact Unified Structured Gaussian Splatting Framework for Multimodal Scene Representation [16.85102888388904]
CUS-GSはコンパクトな統一型ガウススプティング表現である。
本稿では,アンカーの生育と刈り取りをガイドするための特徴認識重要度評価戦略を提案する。
CUS-GSは6Mパラメータしか使用しない最先端の手法と比較して、競争性能が向上する。
論文 参考訳（メタデータ） (2025-11-22T03:42:49Z) - Video Spatial Reasoning with Object-Centric 3D Rollout [58.12446467377404]
我々は,ロバストなビデオ空間推論を実現するために,OCR(Object-Centric 3D Rollout)を提案する。
OCRは、トレーニング中に選択した物体の3次元形状に構造的摂動を導入する。
OCRはモデルを補完し、全体にわたって論理的にソートする。
論文 参考訳（メタデータ） (2025-11-17T09:53:41Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳（メタデータ） (2025-10-26T14:57:44Z) - SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。
次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。
本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
論文 参考訳（メタデータ） (2025-07-31T17:56:55Z) - Spatial Reasoner: A 3D Inference Pipeline for XR Applications [0.0]
本稿では,記号的述語と関係性で幾何学的事実をブリッジする空間的推論フレームワークを提案する。
その基礎は、空間的述語集合によって強化された、向き付けられた3D境界ボックス表現に依存している。
導出した述語は空間知識グラフを形成し、パイプラインベースの推論モデルと組み合わせることで、空間クエリと動的ルール評価を可能にする。
論文 参考訳（メタデータ） (2025-04-25T14:27:27Z) - Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。