論文の概要: BIND: Binding 3D Robot Actions to 2D Image Features

• arxiv url: http://arxiv.org/abs/2609.38443v1
• Date: Tue, 29 Sep 2026 19:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.656634
• Title: BIND: Binding 3D Robot Actions to 2D Image Features
• Title（参考訳）: BIND:3Dロボットのアクションを2D画像に結びつける
• Abstract要約: BINDは、バイスモータロボットポリシーのための新しいアクション表現である。 3Dロボットのアクションを、対応する2D画像の特徴に結びつける。 分散オブジェクト位置に対する強力なデータ効率向上とロバスト性を実現する。
• 参考スコア（独自算出の注目度）: 22.443348478053405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce BIND, a new action representation for visuomotor robot policies that binds 3D robot actions to their corresponding 2D image features, yielding strong data efficiency gains and robustness to out-of-distribution object positions and camera viewpoints. The action heads of current robot policies are typically formulated as an MLP regression from a single global feature vector produced by a pre-trained vision encoder. This global formulation requires the policy network to discover, from demonstrations alone, the relationship between target robot actions and the image features they project onto. The consequence is that although modern image features are semantically descriptive, spatially robust, and even multiview-consistent, the policies built on them are brittle to subtle changes in camera viewpoint and object placement--and surprisingly data-inefficient. BIND closes this gap by supplying the action-feature relationship through camera geometry rather than learning: it discretizes a volume of candidate end effector positions, attaches each candidate to the pre-trained features at its projection in each camera view, and selects actions by scoring each candidate's position and image-bound feature combination. On a real robot, we study data efficiency and out-of-distribution robustness to unseen object positions and camera viewpoints, as well as general long-horizon task execution and dexterity. We find BIND to be highly data-efficient and robust: it achieves near-perfect success on tasks with as few as 5 demonstrations, and degrades gracefully under steep camera-viewpoint shifts and held-out object positions where coordinate-regression baselines completely fail.
• Abstract（参考訳）: BINDは,3次元ロボット動作を対応する2次元画像特徴に結合し,分散対象位置とカメラ視点に強いデータ効率向上とロバスト性をもたらすバイスモータロボットポリシーのための新しいアクション表現である。 現在のロボットポリシーのアクションヘッドは、通常、事前訓練された視覚エンコーダによって生成された単一のグローバル特徴ベクトルからのMLP回帰として定式化される。 このグローバルな定式化は、実証から目的のロボット行動と、それらが投射する画像機能との関係を発見するためにポリシーネットワークを必要とする。 その結果、現代の画像の特徴はセマンティックに記述され、空間的に堅牢で、マルチビュー一貫性さえあるが、それらの上に構築されたポリシーは、カメラの視点やオブジェクトの配置の微妙な変化に対して脆弱であり、驚くほどデータ非効率である。 BINDは、学習ではなく、カメラ幾何学を通してアクション-フィーチャー関係を供給し、そのギャップを埋める。これは、候補のエンドエフェクタ位置のボリュームを識別し、各カメラビューにおいて、各候補が予め訓練された特徴にアタッチし、各候補の位置と画像バウンド特徴の組み合わせを評価してアクションを選択する。 実際のロボットでは、オブジェクトの位置やカメラ視点に対するデータ効率と分布外ロバスト性、および一般的な長距離タスクの実行とデクスタリティについて検討する。 最大5回のデモでほぼ完全な成功を達成でき、カメラ視点の急激なシフトや座標回帰ベースラインが完全に失敗するオブジェクト位置の維持の下で優雅に劣化する。

関連論文リスト

• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
  世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
  論文  参考訳（メタデータ） (2026-08-06T07:47:01Z)
• See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models [51.019904314336124]
  視覚言語アクション(VLA)モデルは、視覚的な観察と言語指示からロボットの動きを予測する。 ほとんどのVLAは、カメラフレーム内のシーンを観察し、シーンが観察された場所とアクションが定義された場所との間のフレームミスマッチを生成する。 このミスマッチをロボット中心のポイントマップで処理し、ロボットフレーム内のシーンポイントの3D座標を画素に格納する。
  論文  参考訳（メタデータ） (2026-07-13T12:50:32Z)
• Pixel2Catch: Multi-Agent Sim-to-Real Transfer for Agile Manipulation with a Single RGB Camera [3.219880761967806]
  本研究は、単一のRGB画像から抽出した画素レベルの視覚情報を用いて物体の動きを認識する新しいアプローチに焦点を当てる。 多指ハンドを備えたロボットアームによる高DoFシステムにおいて安定した学習を実現するため、異種多エージェント強化学習フレームワークを設計する。 各エージェントは、ロール固有の観察と報酬を使用して協調的に訓練され、学習されたポリシーはシミュレーションから実世界に移される。
  論文  参考訳（メタデータ） (2026-02-26T08:15:38Z)
• CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining [4.039082584778385]
  3次元多視点動作記述型ロボットマニピュレーション事前学習(CLAMP)のコントラスト学習について紹介する。 RGB-D画像とカメラ外部画像から計算した統合点雲から、深度と3次元座標によるマルチビュー4チャンネル画像観察を再レンダリングした。 事前訓練されたエンコーダは、オブジェクトの幾何学的および位置的情報とロボットのアクションパターンを関連付けることを学習する。
  論文  参考訳（メタデータ） (2026-01-31T23:32:54Z)
• CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World [20.52894595103719]
  CordViPは、オブジェクトのロバストな6Dポーズ推定とロボットのプロプリセプションを活用することで、通信を構築し、学習する新しいフレームワークである。 提案手法は,6つの実世界のタスクにおいて,最先端の性能を達成し,極めて巧妙な操作能力を示す。
  論文  参考訳（メタデータ） (2025-02-12T14:41:14Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。