論文の概要: Behavior Imitation for Manipulator Control and Grasping with Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.01284v1
• Date: Thu, 2 May 2024 13:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 16:24:55.072176
• Title: Behavior Imitation for Manipulator Control and Grasping with Deep Reinforcement Learning
• Title（参考訳）: 深部強化学習によるマニピュレータ制御とグラッピングの動作模倣
• Authors: Liu Qiyuan,
• Abstract要約: このプロジェクトは、人間の3次元ポーズ推定と強化学習を組み合わせたものである。 数秒のビデオから模倣ポリシーを学ぶことができる。 学習したポリシーを、馴染みの無いビデオで人間の腕の動きを模倣するために、迅速に適用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existing Motion Imitation models typically require expert data obtained through MoCap devices, but the vast amount of training data needed is difficult to acquire, necessitating substantial investments of financial resources, manpower, and time. This project combines 3D human pose estimation with reinforcement learning, proposing a novel model that simplifies Motion Imitation into a prediction problem of joint angle values in reinforcement learning. This significantly reduces the reliance on vast amounts of training data, enabling the agent to learn an imitation policy from just a few seconds of video and exhibit strong generalization capabilities. It can quickly apply the learned policy to imitate human arm motions in unfamiliar videos. The model first extracts skeletal motions of human arms from a given video using 3D human pose estimation. These extracted arm motions are then morphologically retargeted onto a robotic manipulator. Subsequently, the retargeted motions are used to generate reference motions. Finally, these reference motions are used to formulate a reinforcement learning problem, enabling the agent to learn a policy for imitating human arm motions. This project excels at imitation tasks and demonstrates robust transferability, accurately imitating human arm motions from other unfamiliar videos. This project provides a lightweight, convenient, efficient, and accurate Motion Imitation model. While simplifying the complex process of Motion Imitation, it achieves notably outstanding performance.
• Abstract（参考訳）: 既存のモーション・イミテーション・モデルは、通常、MoCapデバイスを通じて得られた専門家データを必要とするが、必要な膨大なトレーニングデータは取得が困難であり、財務資源、人力、時間に対するかなりの投資を必要としている。 本研究は,3次元ポーズ推定と強化学習を組み合わせることで,強化学習における関節角度値の予測問題に運動模倣を単純化する新しいモデルを提案する。 これにより、膨大なトレーニングデータへの依存を大幅に減らし、エージェントはわずか数秒のビデオから模倣ポリシーを学習し、強力な一般化能力を示すことができる。 学習したポリシーを、馴染みの無いビデオで人間の腕の動きを模倣するために、迅速に適用することができる。 このモデルはまず、3D人間のポーズ推定を用いて、所定のビデオから人間の腕の骨格の動きを抽出する。 これらの抽出された腕の動きは、形態学的にロボットマニピュレータに再ターゲティングされる。 その後、再ターゲットされた動きを使用して参照動作を生成する。 最後に、これらの参照動作は強化学習問題を定式化するために使用され、エージェントは人間の腕の動きを模倣するポリシーを学ぶことができる。 このプロジェクトは模倣作業に優れ、他の馴染みのないビデオからの人間の腕の動きを正確に模倣し、堅牢な転送性を示す。 このプロジェクトは軽量で、便利で、効率的で、正確なモーション・イミテーション・モデルを提供する。 モーション・イミテーションの複雑なプロセスを単純化する一方で、顕著なパフォーマンスを実現している。

関連論文リスト

• Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
  既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。 動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。 我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
  論文  参考訳（メタデータ） (2024-06-10T17:47:14Z)
• MotionLLM: Understanding Human Behaviors from Human Motions and Videos [40.132643319573205]
  この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。 我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:50Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
  単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。 提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。 その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-09-21T01:57:54Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
  人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。 一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。 本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
  論文  参考訳（メタデータ） (2020-11-13T08:53:47Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。