論文の概要: SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video
- arxiv url: http://arxiv.org/abs/2607.01784v1
- Date: Thu, 02 Jul 2026 06:56:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.71223
- Title: SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video
- Title（参考訳）: SpaceEra++ - ビデオの3D空間推論を目指す統一フレームワーク
- Abstract要約: 事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
- 参考スコア（独自算出の注目度）: 88.79625979053873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual-spatial understanding, defined as the ability to infer object relationships and scene layouts from visual inputs, is fundamental to downstream tasks such as robotic navigation and embodied interaction. However, pre-trained vision-language models (VLMs) remain constrained by spatial uncertainty stemming from inherently 2D observations and by the scarcity of data for 3D spatial understanding. To address these limitations, we proposed a novel framework, SpaceEra, in the NeurIPS 2025 Spotlight paper. Although it achieved significant performance gains, we further observed that its effectiveness is hindered by insufficient input from scanning videos and weak reasoning constraints. To tackle these newly emerged challenges, we extend the original framework into a comprehensive system, termed SpaceEra++, which spans data construction, model design, training optimization, and prompting inference. Specifically, to alleviate input insufficiency, we introduce ScenePick, a frame sampling strategy that balances spatial coverage with object semantics to produce compact yet comprehensive scene representations. In addition, to enhance spatial reasoning, we develop SpaceAlign, which enforces pairwise object constraints by jointly exploiting absolute coordinates and relative spatial relations, thereby aligning optimization with spatial accuracy. Extensive experiments across multiple benchmarks demonstrate consistent improvements over strong baselines, while ablation studies validate both the individual and joint contributions of each component, and further analyses provide guidance for future research.
- Abstract（参考訳）: 視覚空間理解は、視覚的な入力からオブジェクトの関係やシーンレイアウトを推測する能力として定義され、ロボットナビゲーションや具体的相互作用のような下流のタスクに基礎を置いている。
しかし,従来の2次元観察から生じる空間的不確実性や,空間的理解のためのデータの不足により,事前学習された視覚言語モデル (VLM) は依然として制約を受け続けている。
これらの制約に対処するため、我々はNeurIPS 2025 Spotlight論文でSpaceEraという新しいフレームワークを提案しました。
性能は著しく向上したが,スキャンビデオからの入力不足や推論制約の弱さにより,その効果が損なわれていることが明らかとなった。
これらの新たな課題に対処するため、私たちは、データ構築、モデル設計、トレーニング最適化、推論の促進にまたがるSpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張しました。
具体的には、入力不足を軽減するために、空間的カバレッジとオブジェクトのセマンティクスのバランスをとるフレームサンプリング戦略であるScenePickを導入し、コンパクトで包括的なシーン表現を生成する。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を共同で活用し,空間的精度と最適化の整合性を両立させるSpaceAlignを開発した。
複数のベンチマークにわたる大規模な実験は、強いベースラインよりも一貫した改善を示し、アブレーション研究は各コンポーネントの個人的および共同貢献を検証し、さらなる分析は将来の研究のためのガイダンスを提供する。
関連論文リスト
- Human-Centric Image Captioning with Subject-Centered Spatial Understanding [27.382505649043637]
本研究では,主観的空間理解を評価するためのベンチマークSPACEを紹介する。
ギャップを埋めるために,特殊なデータ構築とアライメントパイプラインを提案する。
我々の枠組みは、特に主観的空間推論において、人中心キャプションの品質を著しく向上させる。
論文 参考訳（メタデータ） (2026-09-08T06:21:32Z) - ViPSim: Collaborating Visual and Parameter Spaces for Consistent Long-Horizon Embodied World Models [11.15585863355844]
エンボディード・ワールド・モデル(EWM)は、エンボディード・インテリジェンスを促進するためのスケーラブルでリスクのないパラダイムとして登場した。
EWMは、低次元アクションと高次元ビデオ合成の間の表現ギャップによってしばしば妨げられる。
本稿では,一貫した長軸生成を実現するフレームワークであるViPSimを提案する。
論文 参考訳（メタデータ） (2026-06-27T08:18:09Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳（メタデータ） (2026-06-11T17:59:36Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - Video Spatial Reasoning with Object-Centric 3D Rollout [58.12446467377404]
我々は,ロバストなビデオ空間推論を実現するために,OCR(Object-Centric 3D Rollout)を提案する。
OCRは、トレーニング中に選択した物体の3次元形状に構造的摂動を導入する。
OCRはモデルを補完し、全体にわたって論理的にソートする。
論文 参考訳（メタデータ） (2025-11-17T09:53:41Z) - Enhancing Spatial Reasoning in Multimodal Large Language Models through Reasoning-based Segmentation [50.81551581148339]
本稿では、推論に基づくセグメンテーションフレームワークRelevant Reasoning(R$2$S)を紹介する。
推論に基づくセグメンテーションデータセットである3D ReasonSegについても紹介する。
どちらの実験も、R$2$Sと3D ReasonSegは、空間的推論能力の強い3D点雲知覚を効果的に達成することを示した。
論文 参考訳（メタデータ） (2025-06-29T06:58:08Z) - From Flatland to Space: Teaching Vision-Language Models to Perceive and Reason in 3D [32.547597353581594]
本研究では,3次元地上構造を持つシーンデータ上に構築された新しい2次元空間データ生成およびアノテーションパイプラインを提案する。
複数の公開データセットにまたがって数千のシーンから生成される大規模データセットであるSPAR-7Mを構築した。
さらに,空間能力をより包括的に評価するためのベンチマークであるSPAR-Benchを紹介する。
論文 参考訳（メタデータ） (2025-03-29T04:51:50Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - Inter3D: A Benchmark and Strong Baseline for Human-Interactive 3D Object Reconstruction [34.89563280020313]
我々は,人間の相互作用対象の新たな状態合成のための新しいベンチマークとアプローチであるInter3Dを提案する。
提案したベンチマークで広範な実験を行い,課題とアプローチの優位性を示す。
論文 参考訳（メタデータ） (2025-02-19T10:00:00Z) - SPHERE: Unveiling Spatial Blind Spots in Vision-Language Models Through Hierarchical Evaluation [7.659514491338669]
現在の視覚言語モデルは、基本的な空間的手がかりを把握できるが、人間のような理解や現実世界の応用に必要な多次元空間的推論に苦慮している。
我々は,新しい人間注釈付きデータセットをサポートする階層的評価フレームワークであるSPHEREを開発した。
最先端モデルのベンチマーク評価では、特に距離と近接性についての推論において、重大な欠陥が示される。
論文 参考訳（メタデータ） (2024-12-17T09:10:55Z) - Sparkle: Mastering Basic Spatial Capabilities in Vision Language Models Elicits Generalization to Spatial Reasoning [36.588008658084895]
視覚言語モデル(VLM)は多くのタスクでうまく機能するが、しばしば空間的推論では失敗する。
評価の結果, 現状のVLMでは, 複合空間問題に対する不正確な答えが得られていることがわかった。
VLMにおける2次元空間推論は,基本空間能力のみに基づいて訓練することで向上する。
論文 参考訳（メタデータ） (2024-10-21T16:26:09Z) - REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
視覚言語モデルには、空間的関係を正しく推論する能力がない。
視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。
本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
論文 参考訳（メタデータ） (2024-08-05T04:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。