論文の概要: SpatialPoint: Spatial-aware Point Prediction for Embodied Localization

• arxiv url: http://arxiv.org/abs/2603.26690v1
• Date: Mon, 16 Mar 2026 07:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.078891
• Title: SpatialPoint: Spatial-aware Point Prediction for Embodied Localization
• Title（参考訳）: 空間点: 身体的位置推定のための空間認識点予測
• Authors: Qiming Zhu, Zhirui Fang, Tianming Zhang, Chuanxiu Liu, Xiaoke Jiang, Lei Zhang,
• Abstract要約: 身体的な知性は、3D空間でどこで行動すべきかを決定する能力を必要とする。 具体的位置決めを2つの相補的ターゲットタイプでインスタンス化する。 本研究では,構造化深度を視覚言語モデルに統合した,注意深く設計した視覚言語フレームワークであるSpatialPointを提案する。
• 参考スコア（独自算出の注目度）: 6.970630364284529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied intelligence fundamentally requires a capability to determine where to act in 3D space. We formalize this requirement as embodied localization -- the problem of predicting executable 3D points conditioned on visual observations and language instructions. We instantiate embodied localization with two complementary target types: touchable points, surface-grounded 3D points enabling direct physical interaction, and air points, free-space 3D points specifying placement and navigation goals, directional constraints, or geometric relations. Embodied localization is inherently a problem of embodied 3D spatial reasoning -- yet most existing vision-language systems rely predominantly on RGB inputs, necessitating implicit geometric reconstruction that limits cross-scene generalization, despite the widespread adoption of RGB-D sensors in robotics. To address this gap, we propose SpatialPoint, a spatial-aware vision-language framework with careful design that integrates structured depth into a vision-language model (VLM) and generates camera-frame 3D coordinates. We construct a 2.6M-sample RGB-D dataset covering both touchable and air points QA pairs for training and evaluation. Extensive experiments demonstrate that incorporating depth into VLMs significantly improves embodied localization performance. We further validate SpatialPoint through real-robot deployment across three representative tasks: language-guided robotic arm grasping at specified locations, object placement to target destinations, and mobile robot navigation to goal positions.
• Abstract（参考訳）: 身体的な知性は、基本的に3D空間でどこで行動すべきかを決定する能力を必要とする。 我々は,この要件を具体的ローカライゼーションとして定式化し,視覚的観察や言語指示に照らされた実行可能3Dポイントの予測問題について述べる。 触覚点,表面接地3D点,空気点,位置と航法目標を指定する自由空間3D点,方向制約,幾何学的関係の2つの相補的対象型を具体化する。 しかし、既存の視覚言語システムのほとんどはRGB入力に依存しており、ロボット工学にRGB-Dセンサーが広く採用されているにもかかわらず、シーン間の一般化を制限する暗黙の幾何学的再構築を必要としている。 このギャップに対処するために、構造化深度を視覚言語モデル(VLM)に統合し、カメラフレームの3D座標を生成する、空間認識型視覚言語フレームワークであるSpatialPointを提案する。 我々は,2.6MサンプルのRGB-Dデータセットを構築した。 広汎な実験により、VLMに深度を組み込むことで、エンボディドローカライゼーション性能が大幅に向上することが示された。 さらに,言語誘導ロボットアームが特定の位置を把握し,目標地点に物体を配置し,目標地点を目標とする移動ロボットナビゲーションという,3つの代表的なタスクにまたがる実ロボット展開を通じて,SpatialPointを検証する。

関連論文リスト

• Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
  3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
  論文  参考訳（メタデータ） (2026-04-01T06:12:16Z)
• N3D-VLM: Native 3D Grounding Enables Accurate Spatial Reasoning in Vision-Language Models [45.008146973701855]
  N3D-VLMは、ネイティブな3Dオブジェクト認識と3D認識の視覚的推論をシームレスに統合する新しい統合フレームワークである。 RGB/RGB-D入力からの回答を直接予測する従来のエンドツーエンドモデルとは異なり、本手法はネイティブな3Dオブジェクト認識機能を備えたモデルである。
  論文  参考訳（メタデータ） (2025-12-18T14:03:44Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• Task-Aware 3D Affordance Segmentation via 2D Guidance and Geometric Refinement [12.260126771415019]
  タスク対応型3次元シーンアフォーダンスセグメンテーション(TASA)について紹介する。 TASAは2次元のセマンティックキューと3次元の幾何学的推論を粗い方法で併用する新しい幾何学最適化フレームワークである。 3次元幾何情報を完全に活用するために、局所的な3次元幾何と2次元セマンティック先行情報を統合するために、3次元アベイランス改良モジュールを提案する。
  論文  参考訳（メタデータ） (2025-11-12T13:36:37Z)
• From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors [54.84863164684646]
  既存の視覚言語アクション(VLA)モデルは3Dの現実世界で機能するが、通常は2Dエンコーダ上に構築される。 本研究では,アクションヘッドにリッチな3次元空間トークンを注入する新しいパラダイムであるFALCONを紹介する。
  論文  参考訳（メタデータ） (2025-10-20T11:26:45Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。