論文の概要: Training Robots to Evaluate Robots: Example-Based Interactive Reward
Functions for Policy Learning
- arxiv url: http://arxiv.org/abs/2212.08961v1
- Date: Sat, 17 Dec 2022 21:44:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 18:42:15.964745
- Title: Training Robots to Evaluate Robots: Example-Based Interactive Reward
Functions for Policy Learning
- Title(参考訳): ロボット評価のための訓練ロボット:政策学習のための事例ベースインタラクティブリワード機能
- Authors: Kun Huang, Edward S. Hu, Dinesh Jayaraman
- Abstract要約: 我々は,ロボットにこのような対話的行動を自動的に取得するように訓練することを提案する。
これらの評価は「相互報酬関数」(IRF)として機能する。
IRFは、成功した結果の例のみを使用して、都合よく訓練することができる。
- 参考スコア(独自算出の注目度): 20.565163553170397
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Physical interactions can often help reveal information that is not readily
apparent. For example, we may tug at a table leg to evaluate whether it is
built well, or turn a water bottle upside down to check that it is watertight.
We propose to train robots to acquire such interactive behaviors automatically,
for the purpose of evaluating the result of an attempted robotic skill
execution. These evaluations in turn serve as "interactive reward functions"
(IRFs) for training reinforcement learning policies to perform the target
skill, such as screwing the table leg tightly. In addition, even after task
policies are fully trained, IRFs can serve as verification mechanisms that
improve online task execution. For any given task, our IRFs can be conveniently
trained using only examples of successful outcomes, and no further
specification is needed to train the task policy thereafter. In our evaluations
on door locking and weighted block stacking in simulation, and screw tightening
on a real robot, IRFs enable large performance improvements, even outperforming
baselines with access to demonstrations or carefully engineered rewards.
Project website: https://sites.google.com/view/lirf-corl-2022/
- Abstract(参考訳): 物理的相互作用は、しばしば容易には明らかでない情報を明らかにするのに役立つ。
例えば、テーブルの脚を引っ張って、それがうまく構築されているかどうかを評価したり、ボトルを逆さまに回して、水密であることを確認したりできます。
そこで本研究では,このような対話的行動を自動的に獲得するロボットを訓練し,ロボットのスキル実行実験の結果を評価することを提案する。
これらの評価は、テーブル脚をしっかりねじるなどの目標スキルを実行するための強化学習ポリシーを訓練するための「インタラクティブ報酬機能」(IRF)として機能する。
さらに、タスクポリシーが完全に訓練された後も、IRFはオンラインタスク実行を改善する検証メカニズムとして機能する。
任意のタスクに対して、我々のIRFは、成功した結果の例のみを使用して便利なトレーニングを行うことができ、その後のタスクポリシーのトレーニングには、それ以上の仕様は必要ない。
シミュレーションにおけるドアロックと重み付けブロックの積み重ね、および実際のロボットのねじ締め付けに関する評価において、IRFは、デモへのアクセスや慎重にエンジニアリングされた報酬により、ベースラインよりも優れたパフォーマンスを実現している。
プロジェクトウェブサイト: https://sites.google.com/view/lirf-corl-2022/
関連論文リスト
- Interactive Robot Learning from Verbal Correction [42.37176329867376]
OLAFは、ロボットがミスをしたとき、言葉で訂正するロボットを教える。
OLAFの重要な特徴は、言葉のフィードバックに基づいてロボットの視覚運動神経ポリシーを更新する能力である。
本研究では,ユーザがロボットに長期操作タスクを指示する実験において,設計の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-26T16:46:12Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳(メタデータ) (2023-10-23T17:50:08Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via
Novel-View Synthesis [50.93065653283523]
SPARTN(Synthetic Perturbations for Augmenting Robot Trajectories via NeRF)は、ロボットポリシーを改善するための完全なオフラインデータ拡張スキームである。
提案手法はニューラルレイディアンス場(NeRF)を利用して,視覚的デモンストレーションに補正ノイズを合成注入する。
シミュレーションされた6-DoF視覚的把握ベンチマークでは、SPARTNは精度を2.8$times$で改善する。
論文 参考訳(メタデータ) (2023-01-18T23:25:27Z) - Variational Meta Reinforcement Learning for Social Robotics [15.754961709819938]
社会ロボティクスは依然として多くの課題に直面している。
1つのボトルネックは、社会規範が環境に強く依存するため、ロボットの振る舞いを頻繁に適応させることである。
本研究ではメタ強化学習(meta-RL)を潜在的ソリューションとして検討する。
論文 参考訳(メタデータ) (2022-06-07T12:08:59Z) - Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot
Learning [121.9708998627352]
近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。
本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
論文 参考訳(メタデータ) (2022-04-15T08:12:15Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳(メタデータ) (2020-12-14T22:18:39Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳(メタデータ) (2020-12-12T20:06:15Z) - Offline Learning of Counterfactual Predictions for Real-World Robotic
Reinforcement Learning [9.86154691244963]
我々はマニピュレータの関節速度にマルチモーダル感覚観測(ビジョンと力)をマッピングする政策を訓練する。
オンライン政策学習におけるオフライン学習の反事実予測と強制フィードバックを組み合わせることで,効果的な強化学習が可能になることを示す。
論文 参考訳(メタデータ) (2020-11-11T15:45:17Z) - Reinforcement Learning Experiments and Benchmark for Solving Robotic
Reaching Tasks [0.0]
強化学習はロボットアームによる到達タスクの解決に成功している。
ハイドサイト体験再生探索技術により報奨信号の増大が, オフ・ポリティクス・エージェントの平均リターンを増加させることが示されている。
論文 参考訳(メタデータ) (2020-11-11T14:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。