論文の概要: Scaling Dexterous Manipulation via Action Representation Pretraining
- arxiv url: http://arxiv.org/abs/2610.34453v1
- Date: Sun, 25 Oct 2026 17:19:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.616487
- Title: Scaling Dexterous Manipulation via Action Representation Pretraining
- Title(参考訳): Action Representation PretrainingによるDexterous Manipulationのスケーリング
- Abstract要約: 本稿では,アクション表現学習とアクション生成を分離するためのARPG(Action Representation Pretraining and Generation)を提案する。
ARPGは、DexJoCoベンチマークで最先端のパフォーマンスを達成し、バイマダルデキスタラス操作における平均成功率を10.1%から44.7%に改善する。
- 参考スコア(独自算出の注目度): 48.16719295515779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale vision, language, and video pretraining has substantially improved the perception and generalization capabilities of robotic manipulation models, but action generation for complex dexterous manipulation remains constrained by the scarcity of robot demonstrations. Limited robot demonstrations must be used to learn both action representations and task-conditioned action distributions, making it difficult to adequately learn action representations and, in turn, limiting the ability of downstream generative models to generate complex dexterous actions. To address this limitation, we propose ARPG (Action Representation Pretraining and Generation), which explicitly separates action representation learning from action generation: we first pretrain an action representation encoder on large-scale human manipulation data. We then freeze the encoder and train a compact generative backbone (130M parameters) to learn task-conditioned action distributions in the encoder's representation space. Experimental results show that ARPG achieves state-of-the-art performance on the DexJoCo benchmark and improves the average success rate on bimanual dexterous manipulation from 10.1% for $π_{0.5}$ to 44.7%. Scaling experiments further show that broader coverage of human manipulation behaviors effectively improves downstream performance. These results indicate that action representation pretraining provides an independent scaling dimension for improving complex dexterous manipulation capabilities.
- Abstract(参考訳): ロボット操作モデルの認識と一般化能力は,大規模な視覚,言語,ビデオプレトレーニングによって大幅に向上したが,ロボットのデモが不足しているため,複雑な操作のためのアクション生成が制限されている。
限定的なロボットデモは、アクション表現とタスク条件付きアクション分布の両方を学ぶために使用され、アクション表現を適切に学習することは困難である。
この制限に対処するために、アクション表現学習をアクション生成から明確に分離するARPG(Action Representation Pretraining and Generation)を提案する。
次に、エンコーダを凍結し、コンパクトな生成バックボーン(130Mパラメータ)を訓練し、エンコーダの表現空間におけるタスク条件付き動作分布を学習する。
実験の結果、ARPGはDexJoCoベンチマークの最先端性能を達成し、バイマダルデキスタラス操作における平均成功率を10.1%から$π_{0.5}$44.7%に改善した。
スケーリング実験により、人間の操作行動の広範なカバレッジは、下流のパフォーマンスを効果的に改善することが示された。
これらの結果から, 動作表現事前学習は, 複雑な操作能力を向上させるために, 独立したスケーリング次元を提供することが示された。
関連論文リスト
- AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。
まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。
第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
論文 参考訳(メタデータ) (2026-08-14T07:19:06Z) - Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。
人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
論文 参考訳(メタデータ) (2026-06-15T20:00:20Z) - Bridging Scale Discrepancies in Robotic Control via Language-Based Action Representations [20.612898908232907]
本稿では,効果的な事前学習のための行動正規化のための意味的基礎言語表現を提案する。
提案手法は,ロボット操作作業における一般化と伝達性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2025-12-09T12:45:12Z) - StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation [56.996371714721995]
高度に圧縮された2つの状態表現を学習する教師なしの手法を提案する。
私たちの表現は効率的で解釈可能で、既存のVLAベースのモデルとシームレスに統合されます。
提案手法は,コンパクトな状態表現から一般化可能なロボットモーションを学習できることから,StaMoと命名する。
論文 参考訳(メタデータ) (2025-10-06T17:37:24Z) - FreeAction: Training-Free Techniques for Enhanced Fidelity of Trajectory-to-Video Generation [50.39748673817223]
本稿では,ロボットビデオ生成における明示的な動作パラメータを完全に活用する2つのトレーニング不要な推論時間手法を提案する。
第一に、アクションスケールの分類器フリーガイダンスは、動作の大きさに比例して誘導強度を動的に調整し、運動強度に対する制御性を高める。
第二に、アクションスケールノイズトランケーションは、初期サンプルノイズの分布を調整し、所望の運動力学とよりよく一致させる。
論文 参考訳(メタデータ) (2025-09-29T03:30:40Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z) - Unsupervised Learning of Effective Actions in Robotics [0.9374652839580183]
ロボット工学における現在の最先端のアクション表現は、ロボットのアクションに対する適切な効果駆動学習を欠いている。
連続運動空間の離散化と「アクションプロトタイプ」生成のための教師なしアルゴリズムを提案する。
シミュレーションされた階段登上補強学習課題について,本手法の評価を行った。
論文 参考訳(メタデータ) (2024-04-03T13:28:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。