論文の概要: Visual IRL for Human-Like Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2412.11360v1
• Date: Mon, 16 Dec 2024 01:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:30.331145
• Title: Visual IRL for Human-Like Robotic Manipulation
• Title（参考訳）: 人型ロボットマニピュレーションのためのビジュアルIRL
• Authors: Ehsan Asali, Prashant Doshi,
• Abstract要約: 本研究では,協調ロボット(コボット)が操作タスクを学習し,それを人間的な方法で実行するための新しい手法を提案する。 本手法は,ロボットが人間の行動を観察してタスクの実行を学習する,LfO(Learning-from-observation)パラダイムに該当する。 2つの異なる現実的な操作課題に対して,本手法の性能を評価する。
• 参考スコア（独自算出の注目度）: 5.167226775583172
• License:
• Abstract: We present a novel method for collaborative robots (cobots) to learn manipulation tasks and perform them in a human-like manner. Our method falls under the learn-from-observation (LfO) paradigm, where robots learn to perform tasks by observing human actions, which facilitates quicker integration into industrial settings compared to programming from scratch. We introduce Visual IRL that uses the RGB-D keypoints in each frame of the observed human task performance directly as state features, which are input to inverse reinforcement learning (IRL). The inversely learned reward function, which maps keypoints to reward values, is transferred from the human to the cobot using a novel neuro-symbolic dynamics model, which maps human kinematics to the cobot arm. This model allows similar end-effector positioning while minimizing joint adjustments, aiming to preserve the natural dynamics of human motion in robotic manipulation. In contrast with previous techniques that focus on end-effector placement only, our method maps multiple joint angles of the human arm to the corresponding cobot joints. Moreover, it uses an inverse kinematics model to then minimally adjust the joint angles, for accurate end-effector positioning. We evaluate the performance of this approach on two different realistic manipulation tasks. The first task is produce processing, which involves picking, inspecting, and placing onions based on whether they are blemished. The second task is liquid pouring, where the robot picks up bottles, pours the contents into designated containers, and disposes of the empty bottles. Our results demonstrate advances in human-like robotic manipulation, leading to more human-robot compatibility in manufacturing applications.
• Abstract（参考訳）: 本研究では,協調ロボット(コボット)が操作タスクを学習し,それを人間的な方法で実行するための新しい手法を提案する。 本手法はLfO(Learning-from-observation)パラダイムに該当し,人間の行動を観察することでロボットがタスクを実行することを学習する。 Inverse reinforcement learning (IRL) に入力される状態特徴として、観察された人間のタスクパフォーマンスの各フレームにRGB-Dキーポイントを直接使用する Visual IRL を導入する。 キーポイントを報酬値にマッピングする逆学習報酬関数は、人間の運動学をコボットアームにマッピングする新しいニューロシンボリックダイナミクスモデルを用いて、ヒトからコボットに転送される。 このモデルは、ロボット操作における人間の動作の自然なダイナミクスを維持することを目的として、関節調整を最小化しながら、同様のエンドエフェクターの位置決めを可能にする。 エンドエフェクタ配置のみに焦点を当てた従来の手法とは対照的に,本手法は人間の腕の複数の関節角を対応するコボット関節にマッピングする。 さらに、逆運動学モデルを用いて関節角度を最小限に調整し、正確なエンドエフェクタ位置決めを行う。 2つの異なる現実的な操作課題に対して,本手法の性能を評価する。 最初のタスクは、焼成されるかどうかに基づいて、玉ねぎを摘み、検査し、配置する処理である。 第2の課題は、液体を注ぐことで、ロボットがボトルを拾い上げ、指定された容器に中身を注いで、空のボトルを処分する。 以上の結果から,ロボットによるロボット操作の進歩が示され,製造アプリケーションにおけるロボットとの互換性が向上した。

関連論文リスト

• What Matters to You? Towards Visual Representation Alignment for Robot Learning [81.30964736676103]
  人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。 本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T23:04:07Z)
• ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space [9.806227900768926]
  本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。 本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。 我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
  論文  参考訳（メタデータ） (2023-09-11T08:55:04Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Affordances from Human Videos as a Versatile Representation for Robotics [31.248842798600606]
  我々は、人間がどこでどのように対話するかを推定する視覚的余裕モデルを訓練する。 これらの行動割当の構造は、ロボットが多くの複雑なタスクを直接実行できるようにする。 私たちは、VRBと呼ばれる4つの現実世界環境、10以上のタスクと2つのロボットプラットフォームにおいて、私たちのアプローチの有効性を示します。
  論文  参考訳（メタデータ） (2023-04-17T17:59:34Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
  本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。 本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。 本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
  論文  参考訳（メタデータ） (2021-05-26T00:49:37Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。