論文の概要: Reconstruction as Spatial Evaluation: Diagnosing Cross-View Spatial Intelligence in Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.02026v1
- Date: Sun, 01 Nov 2026 16:16:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 06:44:13.940252
- Title: Reconstruction as Spatial Evaluation: Diagnosing Cross-View Spatial Intelligence in Large Vision-Language Models
- Title（参考訳）: 空間的評価としての再構成:大規模視覚言語モデルにおける横断的空間知能の診断
- Abstract要約: 大規模視覚言語モデル(LVLM)は、局所的な視覚観測を物理世界の幾何学的に一貫した表現に組み合わせなければならない。
屋内, テーブルトップ, 屋外環境における多視点3Dシーン再構成を主眼としたベンチマークであるRECONSPATIALを紹介する。
リコンストラクションは、相対配置のための構造と物理的スケールのためのメートル法とカメラアンコール配置の2つの相補的な軸に沿って評価される。
- 参考スコア（独自算出の注目度）: 50.342970317193284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The spatial intelligence of large vision-language models (LVLMs) requires the ability to combine local visual observations into a geometrically consistent representation of the physical world. Many static benchmarks assess isolated spatial judgments, such as relative direction or distance, while interactive embodied evaluations combine perception with exploration, planning, control, and simulator-specific execution. To bridge this gap, we introduce RECONSPATIAL, a benchmark centered on multi-view 3D scene reconstruction across indoor, tabletop, and outdoor environments. Given real multi-view images and target-object queries, LVLMs are required to jointly predict oriented 3D bounding boxes in a shared, camera-anchored metric coordinate frame. Reconstructions are evaluated along two complementary axes: Structure for relative layout and Metric for physical scale and camera-anchored placement. Nine atomic spatial QA tasks, grouped into Geometric Perception and Spatial Relations, probe spatial capabilities involved in joint reconstruction. Offline navigation extends evaluation to path planning. Evaluation of 18 frontier LVLMs reveals a consistent gap between relative scene structure and metric reconstruction; even GPT-6-Astra scores 81.4% on Structure but only 58.7% on Metric. Tracing this gap, diagnostic analyses link atomic spatial capabilities to reconstruction quality and show that relational consistency alone does not ensure metric accuracy. Experiments with 3D map injection further separate scene construction from path planning, revealing how these geometric errors limit navigation success. Finally, spatial fine-tuning yields broad transfer across both spatial and general vision-language benchmarks.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の空間知能は、局所的な視覚的観察を物理世界の幾何学的に一貫した表現に組み合わせる能力を必要とする。
多くの静的なベンチマークでは、相対的な方向や距離などの孤立した空間的判断が評価され、インタラクティブな実施的評価は、探索、計画、制御、シミュレータ固有の実行と認識を組み合わせている。
このギャップを埋めるために、室内、テーブルトップ、屋外環境の多視点3Dシーン再構成を中心にしたベンチマークであるRECONSPATIALを導入する。
実際のマルチビュー画像とターゲットオブジェクトのクエリが与えられた場合、LVLMは、共有されたカメラアンコールメトリック座標フレームにおいて、指向する3次元境界ボックスを共同で予測する必要がある。
リコンストラクションは、相対配置のための構造と物理的スケールのためのメートル法とカメラアンコール配置の2つの相補的な軸に沿って評価される。
9つの原子間空間QAタスクは、幾何学的知覚と空間関係にグループ化され、共同再建に関わる空間能力を探索する。
オフラインナビゲーションは、評価をパス計画に拡張する。
18基のフロンティアLVLMの評価では、相対的なシーン構造とメートル法再構成の間に一貫したギャップが見られ、GPT-6-Astraでも81.4%、Metricでは58.7%である。
このギャップを辿って、診断分析は原子空間の能力と品質の再構築をリンクさせ、関係性の整合性だけではメートル法精度が保証されないことを示す。
3Dマップインジェクションによる実験は、経路計画からシーン構築をさらに分離し、これらの幾何学的誤差がナビゲーションの成功を制限する方法を明らかにする。
最後に、空間的微調整は、空間的および一般的な視覚的ベンチマークの両方にわたって広範な転送をもたらす。
関連論文リスト
- Measurable Semantic 3D Gaussian Splatting with Joint Region and Depth Supervision for Interactive Building Inspection [4.0344557117693745]
本研究では,多視点画像からの対話型ビルディングインスペクションのための領域・深度監視機能を備えた計測可能な意味的3Dガウススティング(3DGS)フレームワークを提案する。
セマンティックガウスのフィールドは学習可能なクラス機能と個々のガウスのプリミティブを関連付け、セマンティックレンダリングとコンポーネントレベルのインスペクションを可能にする。
これらの機能は、リアルタイムビジュアライゼーション、セマンティック分析、定量測定、マルチモーダル・大規模言語モデル(MLLM)アシストインタラクションをサポートする対話型ビルディングインスペクションプラットフォームであるAEC-SplatTwinを通じて運用されている。
論文 参考訳（メタデータ） (2026-10-09T07:33:37Z) - SeeSE3: Emergence of 3D Space in Vision Features [54.140615953727355]
視覚特徴空間の構造とユークリッド変換群$SE(3)$の関係について検討する。
本研究は、3次元ユークリッド空間と非常に強く相関する潜在部分空間を有する自己監督型視覚モデルについて,原理的に3次元の直接監督やアクティブエージェンシーの訓練を受けていないことを示す。
本稿では,視覚計測と局所化を潜在空間で純粋に行う「潜時空間ナビゲーション」技術について,明示的な3次元再構成の必要性を回避して提案する。
論文 参考訳（メタデータ） (2026-07-15T18:00:31Z) - DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery [29.356253148114135]
本研究では,ストリートビュー画像のための地上空間表現フレームワークであるDM-KG(Direction-Metric Knowledge Graph)を提案する。
単一の2次元画像から物体間の方向的および距離的関係を明示的に抽出することにより、空間的推論精度を高める。
実験の結果、DM-KGは距離推定における平均絶対誤差(MAE)を31.1%、方向判定における平均角誤差を65.8%削減することが示された。
論文 参考訳（メタデータ） (2026-07-14T03:52:37Z) - G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。
G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。
中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
論文 参考訳（メタデータ） (2026-07-04T09:32:13Z) - IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning [30.654858163397662]
I-Benchは,室内の3次元レイアウトをモデル化するために視覚言語モデルを必要とする評価スイートである。
I-BenchはCLEVRスタイルの単純な幾何学的プリミティブを超えて、画像空間の差が空間的推論のみを反映するようにしている。
論文 参考訳（メタデータ） (2026-07-03T22:04:42Z) - SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳（メタデータ） (2026-07-02T06:56:29Z) - MAPS: Multi-Anchor Projection Similarity for Joint Vision-Language Geo-Localization [14.254687625765547]
マルチアンカー幾何アライメント問題として,共同画像テキストクエリを用いた視覚言語ジオローカライゼーションを定式化する。
MAPS(Multi-Anchor Projection similarity)は、この平面上の対象特徴の投影長による類似度を測定する。
提案するフレームワーク, 類似度測定, および訓練対象は, 視覚言語による地理的ローカライゼーションにおいて, 最先端の性能を両立させる。
論文 参考訳（メタデータ） (2026-06-21T15:01:53Z) - Unifying UAV Cross-View Geo-Localization via 3D Geometric Perception [51.687842983240564]
無人航空機(UAV)のクロスビューな地上局地化は、斜めのUAV画像と衛星地図との厳密な幾何学的相違により、いまだに困難である。
本稿では,3次元シーン形状を明示的にモデル化し,粗い位置認識ときめ細かなポーズ推定を統一する,幾何認識型UAV測位フレームワークを提案する。
提案手法は, 最先端のベースラインを著しく上回り, ロバストメータレベルのローカライゼーション精度を実現し, 複雑な都市環境における一般化を向上する。
論文 参考訳（メタデータ） (2026-04-02T08:08:41Z) - SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments [49.966170814478915]
UAV VLNのための幾何学誘導空間表現フレームワークを提案する。
明示的な3次元再構成を伴わないRGB観測において、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。
実験結果から、SpatialFlyは現状のUAV VLNベースラインを目に見える環境と見えない環境の両方で一貫して上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-22T03:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。