論文の概要: Imitation and Adaptation Based on Consistency: A Quadruped Robot Imitates Animals from Videos Using Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2203.05973v1
• Date: Wed, 2 Mar 2022 15:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-20 23:09:50.511717
• Title: Imitation and Adaptation Based on Consistency: A Quadruped Robot Imitates Animals from Videos Using Deep Reinforcement Learning
• Title（参考訳）: 一貫性に基づく模倣と適応:深層強化学習を用いたビデオから動物を模倣する四足ロボット
• Authors: Qingfeng Yao, Jilong Wang, Shuyu Yang, Cong Wang, Hongyin Zhang, Qifeng Zhang, Donglin Wang
• Abstract要約: 動物の動きを模倣し、数秒のビデオからロボットに適応できる映像模倣適応ネットワーク(VIAN)を提案する。 VIANはノイズを除去し、モーションアダプタを用いて動きのキー情報を抽出し、抽出した動きパターンを深部強化学習(DRL)に適用する。 DRLはビデオからの動きパターンからバランスを保ち、動物の行動を模倣し、最終的には異なる動物の短い動きビデオから歩行やスキルを学ぶことができる。
• 参考スコア（独自算出の注目度）: 17.01320215435353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The essence of quadrupeds' movements is the movement of the center of gravity, which has a pattern in the action of quadrupeds. However, the gait motion planning of the quadruped robot is time-consuming. Animals in nature can provide a large amount of gait information for robots to learn and imitate. Common methods learn animal posture with a motion capture system or numerous motion data points. In this paper, we propose a video imitation adaptation network (VIAN) that can imitate the action of animals and adapt it to the robot from a few seconds of video. The deep learning model extracts key points during animal motion from videos. The VIAN eliminates noise and extracts key information of motion with a motion adaptor, and then applies the extracted movements function as the motion pattern into deep reinforcement learning (DRL). To ensure similarity between the learning result and the animal motion in the video, we introduce rewards that are based on the consistency of the motion. DRL explores and learns to maintain balance from movement patterns from videos, imitates the action of animals, and eventually, allows the model to learn the gait or skills from short motion videos of different animals and to transfer the motion pattern to the real robot.
• Abstract（参考訳）: 四重項運動の本質は重心の動きであり、四重項の動きにパターンがある。 しかし,四足歩行ロボットの歩行動作計画には時間を要する。 自然界の動物は、ロボットが学習し模倣するための大量の歩行情報を提供することができる。 一般的な方法は、モーションキャプチャシステムや多数のモーションデータポイントを用いて動物の姿勢を学習する。 本稿では,動物の動作を模倣し,数秒のビデオからロボットに適応できる映像模倣適応ネットワーク(vian)を提案する。 深層学習モデルは、ビデオから動物の動きのキーポイントを抽出する。 vianはノイズを除去し、モーションアダプタで動きのキー情報を抽出し、抽出された動き関数をモーションパターンとして深層強化学習(drl)に適用する。 ビデオにおける学習結果と動物の動きの類似性を確保するため,動作の一貫性に基づいた報酬を導入する。 drlは、ビデオからの動きパターンからバランスを保ち、動物の動作を模倣し、最終的にはモデルがさまざまな動物の短い動きビデオから歩き方やスキルを学習し、実際のロボットに動きパターンを転送できるようにする。

関連論文リスト

• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
  既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。 動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。 我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
  論文  参考訳（メタデータ） (2024-06-10T17:47:14Z)
• OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
  最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。 我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
  論文  参考訳（メタデータ） (2023-11-30T07:14:00Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Learning Object Manipulation Skills from Video via Approximate Differentiable Physics [27.923004421974156]
  我々はロボットに、単一のビデオデモを見て、シンプルなオブジェクト操作タスクを実行するように教える。 識別可能なシーンは、3Dシーンと2Dビデオの間の知覚的忠実性を保証する。 我々は,54のデモ映像からなる3次元再構成作業に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-03T10:21:47Z)
• QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation [66.97112599818507]
  本稿では,条件付きヒューマンモーションアニメーション(cHMA)の課題について検討する。 ソースイメージとドライビングビデオが与えられた場合、モデルは新しいフレームシーケンスをアニメーション化するべきである。 新たな3つの重要なステップは、量子化、スクラブル、クラフトだ。
  論文  参考訳（メタデータ） (2022-03-22T11:34:40Z)
• Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
  本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。 本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。 本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
  論文  参考訳（メタデータ） (2021-05-26T00:49:37Z)
• Character Controllers Using Motion VAEs [9.806910643086045]
  動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。 計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
  論文  参考訳（メタデータ） (2021-03-26T05:51:41Z)
• Understanding Action Sequences based on Video Captioning for Learning-from-Observation [14.467714234267307]
  本稿では,人間の実演映像を言語指示で分割理解し,正確な動作シーケンスを抽出できる,観察からの学習フレームワークを提案する。 分割は、人間の日常行動と対象中心の顔接触遷移を一致させる手速の局所的最小点に基づいて行われる。 人間の意図を正しく理解し,動画内の意図しない動作を無視するために,動作記述と言語指示を一致させる。
  論文  参考訳（メタデータ） (2020-12-09T05:22:01Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。