論文の概要: A4A: Cross-Embodiment Transfer of Action-Oriented 4D Affordances from Human Demonstrations
- arxiv url: http://arxiv.org/abs/2609.05892v1
- Date: Sat, 05 Sep 2026 05:23:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:23:36.095458
- Title: A4A: Cross-Embodiment Transfer of Action-Oriented 4D Affordances from Human Demonstrations
- Title（参考訳）: A4A:人間による行動指向4次元運動のクロス・エボディメント伝達
- Abstract要約: 本稿では,対話関連3D点の言語条件による将来の軌跡を表す,アクション指向の4D測度を提案する。
これらの軌道は、具体的行動ではなく、タスク条件付き幾何学的進化を捉え、人間とロボットの間で伝達可能な相互作用を可能にする。
シミュレーションと実世界の両方の実験でA4Aの有効性が検証され、アクション指向の4Dアベイランスデータによる事前トレーニングは、多様なVLAポリシーの操作性能を一貫して改善することを示した。
- 参考スコア（独自算出の注目度）: 21.11834773679804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human demonstrations contain rich manipulation knowledge, but it remains unclear what information can be transferred effectively to robot control. Existing affordance representations are typically formulated as 2D masks, 3D regions, contact points, or actionability scores, and therefore primarily identify where interaction may occur. However, effective manipulation also requires modeling how interaction-relevant geometry evolves during task execution. To bridge this gap, we introduce action-oriented 4D affordances, which represent the language-conditioned future trajectories of interaction-relevant 3D points. These trajectories capture task-conditioned geometric evolution rather than embodiment-specific actions, enabling transferable interaction priors across humans and robots. Based on this representation, we construct a large-scale action-oriented 4D affordance dataset from existing human--object interaction video data and complementary RGB-D demonstrations, and introduce A4A, an affordance-to-action framework that uses 4D affordance trajectory prediction to pretrain robot policies before manipulation fine-tuning. Experiments in both simulation and the real world validate the effectiveness of A4A, showing that pretraining with action-oriented 4D affordance data consistently improves the manipulation performance of diverse VLA policies. These results establish action-oriented 4D affordances as an effective cross-embodiment representation for transferring manipulation knowledge from human demonstrations to robot control.
- Abstract（参考訳）: 人間のデモンストレーションには豊富な操作知識が含まれているが、どのような情報を効果的にロボット制御に転送できるかは不明だ。
既存の余剰表現は通常、2Dマスク、3D領域、接触点、行動可能性スコアとして定式化されるため、主に相互作用が起こる場所を特定する。
しかし、効果的な操作には、タスク実行中に相互作用関連幾何学がどのように進化するかをモデル化する必要がある。
このギャップを埋めるために,対話関連3Dポイントの言語条件による将来の軌跡を表すアクション指向の4Dアプライアンスを導入する。
これらの軌道は、具体的行動ではなく、タスク条件付き幾何学的進化を捉え、人間とロボットの間で伝達可能な相互作用を可能にする。
この表現に基づいて、既存の人間-オブジェクトインタラクションビデオデータと補完的なRGB-Dデモから大規模アクション指向の4Dアプライアンスデータセットを構築し、さらに、4Dアプライアンストラジェクトリ予測を使用して、微調整をする前にロボットポリシーを事前訓練するアプライアンス・ツー・アクション・フレームワークであるA4Aを導入する。
シミュレーションと実世界の両方の実験でA4Aの有効性が検証され、アクション指向の4Dアベイランスデータによる事前トレーニングは、多様なVLAポリシーの操作性能を一貫して改善することを示した。
これらの結果は,人間の実演からロボット制御への操作知識の伝達に有効なクロスボデーメント表現として,アクション指向の4Dアプライアンスを確立した。
関連論文リスト
- WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - ELAN4D: Embodiment-Centric 4D Supervision for Vision-Language-Action Models via Plug-and-Play Adaptation [63.617951135459016]
VLA(Vision-Language-Action)モデルでは、ロボット操作が約束されているが、既存のほとんどのポリシーは、現在の観測からアクションを直接回帰することで、反応する。
ELAN4Dは,将来のロボットキートラックによるポリシーを予測的時間的監視として強化する,実施中心の4D対応トレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-05-28T19:03:30Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining [4.039082584778385]
3次元多視点動作記述型ロボットマニピュレーション事前学習(CLAMP)のコントラスト学習について紹介する。
RGB-D画像とカメラ外部画像から計算した統合点雲から、深度と3次元座標によるマルチビュー4チャンネル画像観察を再レンダリングした。
事前訓練されたエンコーダは、オブジェクトの幾何学的および位置的情報とロボットのアクションパターンを関連付けることを学習する。
論文 参考訳（メタデータ） (2026-01-31T23:32:54Z) - VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation [54.81449795163812]
時間的コヒーレントなロボット操作のための4次元認識型汎用VLAモデルを開発した。
視覚的特徴を抽出し, 4次元埋め込みのための3次元位置への1次元時間埋め込みを行い, クロスアテンション機構による統一視覚表現に融合する。
この枠組みの中で、デザインされた視覚アクションは、空間的に滑らかで時間的に一貫したロボット操作を共同で行う。
論文 参考訳（メタデータ） (2025-11-21T12:26:30Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation [47.471097712217386]
既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。
本稿では,ガウスアクション場(GAF)を介して動作認識4D表現から直接行動推論を可能にするV-4D-Aフレームワークを採用する。
実験では、+11.5385 dB PSNR、+0.3864 SSIM、-0.5574 LPIPSの改善を達成し、平均+7.3%の成功を上げた。
論文 参考訳（メタデータ） (2025-06-17T02:55:20Z) - Pre-training Auto-regressive Robotic Models with 4D Representations [43.80798244473759]
ARM4Rは、人間のビデオデータから学んだ低レベルの4D表現を利用して、より優れた事前訓練されたロボットモデルを生成する自動回帰ロボットモデルである。
実験の結果、ARM4Rは人間のビデオデータからロボットへ効率よく転送でき、さまざまなロボット環境や構成におけるタスクのパフォーマンスを継続的に改善できることがわかった。
論文 参考訳（メタデータ） (2025-02-18T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。