論文の概要: DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References
- arxiv url: http://arxiv.org/abs/2502.09614v1
- Date: Thu, 13 Feb 2025 18:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:50:47.145140
- Title: DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References
- Title（参考訳）: DexTrack: Dexterous Manipulationのための汎用的なニューラルトラッキング制御を目指して
- Authors: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi,
- Abstract要約: 我々は,人間の参照からのデクスタス操作のための汎用型ニューラルトラッキングコントローラを開発する上での課題に対処する。
本稿では,ロボット追跡実験を大規模に成功させる手法を提案する。
本手法は,トップベースラインに比べて10%以上の成功率向上を実現している。
- 参考スコア（独自算出の注目度）: 18.947295547196774
- License:
- Abstract: We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.
- Abstract（参考訳）: 我々は,人間の参照からのデクスタス操作のための汎用型ニューラルトラッキングコントローラを開発する上での課題に対処する。
本制御器は,人-物体の相互作用によって定義される様々な目的のために,多様な物体を操作するために,器用なロボットハンドを管理することを目的としている。
このようなコントローラの開発は、デクスタラス操作の複雑な接触ダイナミクスと、適応性、一般化可能性、堅牢性の必要性によって複雑になる。
現在の強化学習と軌道最適化手法は、タスク固有の報酬や正確なシステムモデルに依存するため、しばしば不足する。
本稿では,人間の参照とロボット動作のペアからなる大規模ロボット追跡デモをキュレートして,ニューラルコントローラのトレーニングを行うアプローチを提案する。
データフライホイールを利用することで、私たちは、追跡デモの成功数と品質だけでなく、コントローラのパフォーマンスを反復的に向上させます。
我々は、利用可能な追跡デモを活用し、強化学習と模倣学習を慎重に統合し、動的環境におけるコントローラの性能を高める。
同時に、高品質なトラッキングデモを得るために、学習したトラッキングコントローラをホモトピー最適化法で活用して、トラジェクトリ毎のトラッキングを個別に最適化する。
ホモトピー最適化は、思考の連鎖を模倣し、デモンストレーションの多様性を高めるために、軌跡追跡問題に挑戦するのに役立つ。
我々は、一般化可能なニューラルコントローラをトレーニングし、シミュレーションと実世界の両方で評価することで、私たちの成功を実演する。
本手法は,トップベースラインに比べて10%以上の成功率向上を実現している。
アニメーション結果のプロジェクトWebサイトはhttps://meowuu7.github.io/DexTrack/.comで公開されている。
関連論文リスト
- DexterityGen: Foundation Controller for Unprecedented Dexterity [67.15251368211361]
ツール使用など,ロボットの巧妙な操作スキルを教えることは,大きな課題となる。
現在のアプローチは、人間の遠隔操作(模倣学習)とシミュレート・トゥ・リアル強化学習(sim-to-real reinforcement learning)の2つの戦略に大別できる。
本稿では,手動回転や翻訳などの大規模動きプリミティブをRLで事前学習するDexterityGenを紹介する。
現実の世界では、人間の遠隔操作をコントローラーのプロンプトとして利用し、厳密な振る舞いを生み出す。
論文 参考訳（メタデータ） (2025-02-06T18:49:35Z) - ExBody2: Advanced Expressive Humanoid Whole-Body Control [16.69009772546575]
動作を模倣するヒューマノイドを制御できる全身追跡フレームワークであるExBody2を提案する。
モデルは強化学習(Reinforcement Learning)を用いてシミュレーションでトレーニングされ、その後現実世界に移行する。
2つのヒューマノイドプラットフォーム上で実験を行い、最先端技術に対するアプローチの優位性を実証する。
論文 参考訳（メタデータ） (2024-12-17T18:59:51Z) - A Cross-Scene Benchmark for Open-World Drone Active Tracking [54.235808061746525]
Drone Visual Active Trackingは、視覚的な観察に基づいてモーションシステムを制御することで、対象物を自律的に追跡することを目的としている。
DATと呼ばれるオープンワールドドローンアクティブトラッキングのためのクロスシーンクロスドメインベンチマークを提案する。
また、R-VATと呼ばれる強化学習に基づくドローン追跡手法を提案する。
論文 参考訳（メタデータ） (2024-12-01T09:37:46Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳（メタデータ） (2023-12-28T23:34:43Z) - TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。
低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。
インタラクティブで高品質なアニメーション生成には実用的である。
論文 参考訳（メタデータ） (2023-11-28T18:54:16Z) - DTC: Deep Tracking Control [16.2850135844455]
本研究では,両世界の強靭性,フット配置精度,地形の一般化を両世界の利点と組み合わせたハイブリッド制御アーキテクチャを提案する。
深層ニューラルネットワークポリシは、最適化された足場を追跡することを目的として、シミュレーションでトレーニングされている。
モデルベースに比べて滑りやすい地盤や変形可能な地盤が存在する場合の強靭性を示す。
論文 参考訳（メタデータ） (2023-09-27T07:57:37Z) - Learning to Walk by Steering: Perceptive Quadrupedal Locomotion in
Dynamic Environments [25.366480092589022]
四足歩行ロボットは、環境の乱雑さや移動する障害物に応答して、頑丈で機敏な歩行行動を示す必要がある。
本稿では,知覚的移動の問題をハイレベルな意思決定に分解する,PreLUDEという階層型学習フレームワークを提案する。
シミュレーションおよびハードウェア実験において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-09-19T17:55:07Z) - Reinforcement Learning for Robust Parameterized Locomotion Control of
Bipedal Robots [121.42930679076574]
シミュレーションにおけるロコモーションポリシをトレーニングするためのモデルフリー強化学習フレームワークを提案する。
ドメインランダム化は、システムダイナミクスのバリエーションにまたがる堅牢な振る舞いを学ぶためのポリシーを奨励するために使用されます。
本研究では、目標歩行速度、歩行高さ、旋回ヨーなどの多目的歩行行動について示す。
論文 参考訳（メタデータ） (2021-03-26T07:14:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。