論文の概要: See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2607.11498v1
• Date: Mon, 13 Jul 2026 12:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.471515
• Title: See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models
• Title（参考訳）: ロボットのように見える:ビジョン・ランゲージ・アクションモデルのためのロボット中心のポイントマップ
• Abstract要約: 視覚言語アクション(VLA)モデルは、視覚的な観察と言語指示からロボットの動きを予測する。 ほとんどのVLAは、カメラフレーム内のシーンを観察し、シーンが観察された場所とアクションが定義された場所との間のフレームミスマッチを生成する。 このミスマッチをロボット中心のポイントマップで処理し、ロボットフレーム内のシーンポイントの3D座標を画素に格納する。
• 参考スコア（独自算出の注目度）: 51.019904314336124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models predict robot actions from visual observations and language instructions. These actions are defined in the robot's own 3D coordinate frame, yet most VLAs observe the scene in the camera frame, creating a frame mismatch between where the scene is observed and where actions are defined. The mismatch is benign under a fixed viewpoint, where the policy can memorize a single observation-to-action mapping, but grows harder as large-scale datasets aggregate demonstrations across diverse camera setups and the policy must generalize this mapping across viewpoints. We address this mismatch with robot-centric pointmaps, images whose pixels store the 3D coordinates of scene points in the robot frame. Pointmaps provide robot-frame 3D geometry while preserving the dense H x W grid expected by pretrained 2D VLAs, so they integrate into existing VLAs with minimal architectural change. On RoboCasa, pointmaps improve both pi0.5 and SmolVLA and outperform representative camera-viewpoint and 3D-aware baselines. In real-robot experiments, their advantage over an RGB-only policy widens when the camera is moved to a placement unseen during training.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、視覚的な観察と言語指示からロボットの動きを予測する。 これらの動作はロボット自身の3D座標フレームで定義されるが、ほとんどのVLAはカメラフレーム内のシーンを観察し、シーンが観察された場所とアクションが定義された場所との間のフレームミスマッチを生成する。 このミスマッチは、単一の観察からアクションまでのマッピングを記憶できるが、さまざまなカメラセットアップにまたがって大規模なデータセットがデモを集約し、ポリシーは視点を越えてこのマッピングを一般化する必要があるため、より困難に成長する。 このミスマッチをロボット中心のポイントマップで処理し、ロボットフレーム内のシーンポイントの3D座標を画素に格納する。 ポイントマップは、事前訓練された2D VLAが期待する密集したHxWグリッドを維持しながら、ロボットフレームの3D形状を提供する。 RoboCasaでは、ポイントマップはpi0.5とSmolVLAの両方を改善し、代表的なカメラビューポイントと3D認識ベースラインを上回っている。 実際のロボット実験では、カメラをトレーニング中に見えない場所に移動させると、RGBのみのポリシーに対するアドバンテージが拡大する。

関連論文リスト

• From Fixed to Free Cameras: Calibration-Free View-Robust Vision-Language-Action Model [72.8641426724502]
  カメラ中心型VLA(CamVLA)は、カメラ幾何学から制御を分離する新しいVLAモデルである。 CamVLAは、さまざまな見当たらない視点での成功率を継続的に改善する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:59Z)
• PointAction: 3D Points as Universal Action Representations for Robot Control [42.12570897523391]
  本稿では,映像予測をロボット行動にブリッジするフレームワークであるPointActionについて,明示的なポイントベース4Dモデリングにより紹介する。 PointActionは、ロボットシーンにおける最先端の4D生成品質を実現し、シミュレーションにおいて既存のベースラインを上回り、事前トレーニング中に見えない2つの本物のロボットアームに一般化する。
  論文  参考訳（メタデータ） (2026-06-02T17:30:50Z)
• Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning [51.799524981291235]
  エンドツーエンドの操作ポリシーは、汎用的で巧妙なロボット操作を約束することを示している。 2Dファンデーションモデルから2つの重要な制限を継承する。 これらの問題に対処するために、一連のコントリビューションを提示します。
  論文  参考訳（メタデータ） (2026-06-01T14:01:11Z)
• Geometry-aware 4D Video Generation for Robot Manipulation [28.709339959536106]
  そこで本研究では,映像の多視点3次元整合性を実現する4次元映像生成モデルを提案する。 この幾何学的監督により、モデルはシーンの共有3次元表現を学習することができ、新しい視点から将来の映像シーケンスを予測することができる。 既存のベースラインと比較して,本手法は複数のシミュレーションおよび実世界のロボットデータセットに対して,より視覚的に安定かつ空間的に整合した予測を生成する。
  論文  参考訳（メタデータ） (2025-07-01T18:01:41Z)
• OG-VLA: 3D-Aware Vision Language Action Model via Orthographic Image Generation [68.11862866566817]
  3D対応のポリシーは、精密なロボット操作タスクにおいて最先端のパフォーマンスを実現するが、見えない指示、シーン、オブジェクトへの一般化に苦慮している。 我々は,視覚言語行動モデル(VLA)の一般化強度と3D対応ポリシーの堅牢性を組み合わせた,新しいアーキテクチャと学習フレームワークであるOG-VLAを紹介する。
  論文  参考訳（メタデータ） (2025-06-01T22:15:45Z)
• SliceOcc: Indoor 3D Semantic Occupancy Prediction with Vertical Slice Representation [50.420711084672966]
  室内3Dセマンティック占有予測に適したRGBカメラベースモデルであるSliceOccを提案する。 EmbodiedScanデータセットの実験結果は、SliceOccが81の屋内カテゴリで15.45%のmIoUを達成したことを示している。
  論文  参考訳（メタデータ） (2025-01-28T03:41:24Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。