論文の概要: AcrossDEX 1.0: From Human Motion Pretraining to Bimanual Dexterous Manipulation across Hand Embodiments
- arxiv url: http://arxiv.org/abs/2610.40210v1
- Date: Thu, 29 Oct 2026 14:56:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 07:57:48.274964
- Title: AcrossDEX 1.0: From Human Motion Pretraining to Bimanual Dexterous Manipulation across Hand Embodiments
- Title（参考訳）: AcrossDEX 1.0: 人体運動前訓練から手動操作におけるバイマナルデキスタラスマニピュレーションへ
- Abstract要約: AcrossDEX 1.0は、人間の動作事前学習、シミュレーションベースのエキスパート学習、ロボットデモコレクション、視覚的クローズループ実行を接続する。
AcrossDEX 1.0は、人間の動作前訓練、シミュレーションに基づくエキスパート学習、ロボットデモコレクション、視覚的クローズループ実行を接続する学習システムである。
- 参考スコア（独自算出の注目度）: 9.308597932213575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bimanual dexterous manipulation requires continuous coordination of wrist motion, finger contact, and object motion. Human videos provide rich manipulation experience. Using this experience for robot control requires aligning human poses with robot commands and accounting for embodiment-specific kinematics and contact dynamics. We present AcrossDEX 1.0, a learning system that connects human motion pretraining, simulation-based expert learning, robot demonstration collection, and visual closed-loop execution. Pretraining on HOT3D Aria predicts one second of bimanual motion from five images and thirty annotated hand states over the preceding second. Robot adaptation preserves the visual encoder, temporal backbone, and wrist parameters. Shared wrist representations, separate finger fields, and validity masks support both six-channel Inspire hands and sixteen-joint Allegro hands. The robot policy predicts sixty control targets from frontal images, command history, and task conditions. It executes a prefix and replans from updated observations. We compare direct regression, diffusion, and flow matching on lid opening and return and closed-lid object reorientation. Direct regression achieves success rates of 40.6\% for opening and return, 100.0\% for Inspire reorientation, and 93.3\% for Allegro reorientation. Flow matching achieves 90.0\% on Allegro reorientation. Paired comparisons further show that constraining replanning with the previous plan improves the continuous execution of generative policies. These results demonstrate a common adaptation pipeline for two hand embodiments and highlight the roles of contact coordination and action-chunk continuity.
- Abstract（参考訳）: 両手足の操作には、手首の動き、指の接触、物体の動きの連続的な調整が必要である。
人間のビデオはリッチな操作体験を提供する。
この経験をロボット制御に利用するためには、人間のポーズをロボットのコマンドと整合させることと、エンボディメント固有の運動学と接触力学を考慮に入れる必要がある。
AcrossDEX 1.0は、人間の動作前訓練、シミュレーションに基づくエキスパート学習、ロボットデモコレクション、視覚的クローズループ実行を接続する学習システムである。
HOT3D Ariaの事前トレーニングでは、5つの画像と30の注釈付き手の状態から2次元運動の1秒を予測している。
ロボット適応は視覚エンコーダ、時間的バックボーン、手首パラメータを保存する。
共有手首表現、別個の指のフィールド、バリデーションマスクは、6チャンネルのインスパイアハンドと16チャンネルのアレグロハンドの両方をサポートする。
ロボットポリシーは、正面画像、コマンド履歴、タスク条件から60の制御目標を予測する。
プレフィックスを実行し、更新された観測から再計画する。
我々は, 直接回帰, 拡散, 流れのマッチングを, 蓋の開口と帰還および閉液の物体再配向について比較した。
直接回帰はオープニングとリターンで40.6\%、インスパイア・リオリエンテーションで100.0\%、アレグロ・リオリエンテーションで93.3\%となる。
フローマッチングは、アレグロの再配向で90.0\%を達成する。
ペア比較により、以前の計画との制約の緩和は、生成ポリシーの継続的な実行を改善することが示される。
これらの結果から, 両手実施のための共通適応パイプラインが示され, 接触調整とアクション・チャンク連続性の役割が強調された。
関連論文リスト
- EgoJEPA: Beyond Retargeting for Dexterous Manipulation from Egocentric Videos [54.3385405724896]
EgoJEPAは、エゴ中心の人間ビデオからエンボディメントに依存しない表現を学ぶ。
743.2時間から392.7時間にかけて、クロス・エボディメントの壁時計のコストを47.2%削減する。
論文 参考訳（メタデータ） (2026-10-14T20:34:18Z) - Human2Dex: Dexterous Robot Learning from Wrist-Centric Human Demonstrations [7.387757376866816]
我々は手首中心の人間デモインタフェースであるHuman2Dexを紹介する。
対象手に対して人間の手の動きを融合させることにより、実行可能監視を構築する。
Human2DexはLinker O6で109/120 (90.8%)、Wujiで97/120 (80.8%)を達成している。
論文 参考訳（メタデータ） (2026-10-09T07:14:53Z) - Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。
我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。
Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
論文 参考訳（メタデータ） (2026-10-08T05:49:24Z) - OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video [22.269555840799196]
OmniHOIは、手と物体の相互作用をRGBビデオに変換するパイプラインである。
6～22 DoFの5手それぞれに150回以上の移動軌跡を移動し,39～89%の成功を収めた。
60本のモノクロビデオクリップで53%の成功を達成しました。
論文 参考訳（メタデータ） (2026-10-07T19:59:12Z) - InterMimicGen: Scaling Humanoid Loco-Manipulation through Self-Evolving Motion Imitation [51.061592469527966]
自己進化型モーションアニメーションフレームワークであるInterMimicGenを紹介する。
まず、モーションキャプチャーされた人間と物体の相互作用を統合し、それらをヒューマノイドロボットの参照に再ターゲットする。
第2に,人間の手によるシミュレーションにおいて,これらの参照を実行する物理に基づくジェネラリストトラッカーを訓練する。
第3に、データフライホイールを閉じます。各ラウンドは、インタラクションの発生場所と動作方法に小さなタスク保存変更を施し、トラッカーを微調整し、シミュレートされた実行がタスクを完了した変種のみを保持する。
論文 参考訳（メタデータ） (2026-10-05T17:59:50Z) - Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。
これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。
その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
論文 参考訳（メタデータ） (2026-10-05T11:08:50Z) - WorldLine: Action-Driven Visual Simulation for Robotic Manipulation [87.68211863253049]
実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。
異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。
WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを使ってそれらをグラウンドする。
論文 参考訳（メタデータ） (2026-09-29T17:26:22Z) - Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。
主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。
ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
論文 参考訳（メタデータ） (2026-09-18T09:06:15Z) - Weave: Learning Whole-Body Dexterous Loco-Manipulation from Human-Object Interactions [6.968853416384178]
ヒューマノイドと物体の相互作用を学習するには、ロボットと物体の動きの両方を制御するために、全身のバランス、移動、器用な接触を調整する必要がある。
我々は、捕獲された人間の実演から全身のデキスタス・ヒューマノイド・オブジェクトの相互作用を学習するための統合フレームワークWeaveを提案する。
論文 参考訳（メタデータ） (2026-09-15T06:04:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。