論文の概要: DeSpatial: The devil of Agentic Spatial Reasoning Lies in 3D Itself
- arxiv url: http://arxiv.org/abs/2610.20990v1
- Date: Wed, 14 Oct 2026 22:05:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.09742
- Title: DeSpatial: The devil of Agentic Spatial Reasoning Lies in 3D Itself
- Title（参考訳）: DeSpatial:3D画像で嘘を言うエージェント的空間推論のデビル
- Abstract要約: ツールが予測する知覚を地味な3Dバウンディングボックスに置き換えると、エージェントは5つのオブジェクト中心のBenchタスクでほぼ完全なスコアを得る。
この発見によって、空間的推論の悪魔は3Dそのものの中にあり、空間的理解を知覚と推論に明示的に分解するDeSpatialを導入する。
- 参考スコア（独自算出の注目度）: 34.947448599791855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial agents have access to reconstruction and segmentation tools, yet inconsistent predictions and fragmented object identities can prevent their outputs from becoming reliable 3D scene information. A simple oracle experiment exposes this perception bottleneck: replacing tool-predicted perception with ground-truth 3D bounding boxes raises an agent to nearly full score across five object-centric VSI-Bench tasks, while retaining the same reasoning tools. Motivated by this finding, we believe the devil of spatial reasoning lies in 3D itself, and introduce DeSpatial(Devil of Spatial), which explicitly decomposes spatial understanding into perception and reasoning. DeSpatial has a shared 3D perception tool to reconcile independent perception outputs into a unified, metric, gravity-aligned 3D scene. This perception tool has two core components: a) a joint segmentation--depth co-refinement module that consolidates masks of the same object and removes projection artifacts caused by inconsistent segmentation and depth within a single frame; b) a cross-view instance fusion module that consolidate voxel-overlapping instances but not allowed to merge same-frame instances. This fusion module additionally fuses spatially disjoint fragments caused by insufficient multi-view observations, by checking their 3D structure and source mask appearance. After receiving the complete and unified 3D scene information, the agent chooses reasoning or computational tools to solve the spatial problem. DeSpatial achieves leading performance on VSI-Bench, MindCube-Tiny, and ViewSpatial, with additional long-video results on VSI-SUPER, revealing the bottleneck of spatial understanding lies in a precise 3D perception itself.
- Abstract（参考訳）: 空間エージェントは、再構成やセグメンテーションツールにアクセスできますが、一貫性のない予測と断片化されたオブジェクトアイデンティティは、出力が信頼できる3Dシーン情報になるのを防ぐことができます。
ツール予測の認識を地味な3Dバウンディングボックスに置き換えると、エージェントは5つのオブジェクト中心のVSI-Benchタスクでほぼ完全なスコアに上がり、同じ推論ツールを保持します。
この発見によって、空間的推論の悪魔は3Dそのものの中にあり、空間的推論への空間的理解を明示的に分解するDeSpatial(空間の悪魔)を導入する。
DeSpatialは、独立した知覚出力を統一された、計量的、重力に整合した3Dシーンに分解する3D知覚ツールを共用している。
この認識ツールには2つのコアコンポーネントがある。
イ 同一の物体のマスクを一体化し、一の枠内で不整合のセグメンテーション及び深さによって引き起こされる投射物を除去するジョイントセグメンテーション深度共精製モジュール
b) ボクセル重なり合うインスタンスを統合するが、同一のフレームインスタンスをマージすることができない、クロスビューのインスタンス融合モジュール。
この融合モジュールは、それらの3D構造とソースマスクの外観をチェックすることで、マルチビュー観測が不十分なために生じる空間的に不連続な断片を融合させる。
エージェントは、完全で統一された3Dシーン情報を受信した後、空間問題を解くための推論や計算ツールを選択する。
DeSpatialは、VSI-Bench、MindCube-Tiny、ViewSpatialで主要なパフォーマンスを実現し、VSI-SUPERでさらに長いビデオ結果を得た。
関連論文リスト
- Attention-DP3: Spatially Object-aware 3D Diffusion Policy via Geometry-aligned Attentional Conditioning [54.692734738738885]
空間的オブジェクト認識型3D拡散ポリシーである textbfAttention-DP3 を提案する。
我々のパイプラインはRGB画像上でオープン語彙2Dセグメンテーションを行い、キャリブレーションされたカメラ幾何を用いて予測されたターゲットマスクを3Dに持ち上げる。
Adroit、DexArt、MetaWorld、および現実世界のSO101プラットフォームに関する実験は、DP3よりも一貫した改善を示し、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-09-10T19:05:25Z) - 3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning [37.932415885988924]
シーンレベルのRGB-Dまたはボクセル観測を3次元潜在粒子群に分解する自己教師型オブジェクト中心表現学習モデルである3D-DLPを導入する。
このモデルは、エンド・ツー・エンドの自己監督的再構成目的を通して、粒子ごとの分割マップを解釈できる。
これらのコンパクトな3次元潜伏粒子を下流ロボット操作に利用することにより,ベースラインよりも性能が向上することを示す。
論文 参考訳（メタデータ） (2026-06-17T18:00:08Z) - Spa3R: Predictive Spatial Field Modeling for 3D Visual Reasoning [43.746951848993035]
空間知能は、明示的な空間的インストラクションチューニングによって課されるのではなく、2次元視覚のみから現れる。
本稿では,未提示のマルチビュー画像から直接,空間表現の統一化を学習する,自己教師型フレームワークであるSpa3Rを紹介する。
実験では、Spa3-VLMが3D VQAで58.6%の最先端の精度を達成し、従来の方法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-02-24T18:37:34Z) - Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。
我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。
提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文 参考訳（メタデータ） (2025-11-14T04:16:09Z) - SGS-3D: High-Fidelity 3D Instance Segmentation via Reliable Semantic Mask Splitting and Growing [20.383892902000976]
高忠実度3Dインスタンスセグメンテーション(SGS-3D)のための分割・成長型セマンティックマスクを提案する。
本稿では,3次元幾何学的プリミティブの共起を利用したマスクフィルタリング手法を提案する。
幾何学的洗練のために,空間的連続性と高次特徴を両立させて細粒度オブジェクトインスタンスを構築する。
論文 参考訳（メタデータ） (2025-09-05T14:37:31Z) - Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。
FreeGSは複雑なデータ前処理のワークロードを避けながら、最先端のメソッドと互換性がある。
論文 参考訳（メタデータ） (2024-11-29T08:52:32Z) - OA-DET3D: Embedding Object Awareness as a General Plug-in for Multi-Camera 3D Object Detection [77.43427778037203]
我々は3Dオブジェクト検出を改善するプラグインモジュールであるOA-DET3Dを紹介する。
OA-DET3Dは、オブジェクト中心の深度情報と前景の擬似点を活用することにより、オブジェクトの表現を高める。
我々は、OA-DET3Dの有効性を検証するために、nuScenesデータセットとArgoverse 2データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-01-13T06:02:31Z) - OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object
Detection [51.153003057515754]
OPA-3Dは、Occlusion-Aware Pixel-Wise Aggregationネットワークである。
密集した風景深度と、奥行きのある箱残量と物の境界箱を共同で推定する。
メインカーのカテゴリーでは最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-11-02T14:19:13Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳（メタデータ） (2022-04-02T03:48:03Z) - VIN: Voxel-based Implicit Network for Joint 3D Object Detection and
Segmentation for Lidars [12.343333815270402]
統合ニューラルネットワーク構造は、ジョイント3Dオブジェクト検出とポイントクラウドセグメンテーションのために提示される。
私たちは、検出ラベルとセグメンテーションラベルの両方からの豊富な監視を活用しています。
論文 参考訳（メタデータ） (2021-07-07T02:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。