論文の概要: Experience Selection Using Dynamics Similarity for Efficient
Multi-Source Transfer Learning Between Robots
- arxiv url: http://arxiv.org/abs/2003.13150v1
- Date: Sun, 29 Mar 2020 22:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 14:04:00.795423
- Title: Experience Selection Using Dynamics Similarity for Efficient
Multi-Source Transfer Learning Between Robots
- Title(参考訳): ロボット間の効率的なマルチソーストランスファー学習のためのダイナミクス類似性を用いた経験選択
- Authors: Michael J. Sorocky, Siqi Zhou, and Angela P. Schoellig
- Abstract要約: 不適切な知識伝達は、負の伝達や安全でない振る舞いをもたらすことがある。
本稿では,2組のロボットシステム間の類似性を推定するデータ効率アルゴリズムを提案する。
提案した類似度尺度に基づく選択経験が,対象の4乗算の学習を効果的に促進することを示す。
- 参考スコア(独自算出の注目度): 12.119358871165439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the robotics literature, different knowledge transfer approaches have been
proposed to leverage the experience from a source task or robot -- real or
virtual -- to accelerate the learning process on a new task or robot. A
commonly made but infrequently examined assumption is that incorporating
experience from a source task or robot will be beneficial. In practice,
inappropriate knowledge transfer can result in negative transfer or unsafe
behaviour. In this work, inspired by a system gap metric from robust control
theory, the $\nu$-gap, we present a data-efficient algorithm for estimating the
similarity between pairs of robot systems. In a multi-source inter-robot
transfer learning setup, we show that this similarity metric allows us to
predict relative transfer performance and thus informatively select experiences
from a source robot before knowledge transfer. We demonstrate our approach with
quadrotor experiments, where we transfer an inverse dynamics model from a real
or virtual source quadrotor to enhance the tracking performance of a target
quadrotor on arbitrary hand-drawn trajectories. We show that selecting
experiences based on the proposed similarity metric effectively facilitates the
learning of the target quadrotor, improving performance by 62% compared to a
poorly selected experience.
- Abstract(参考訳): ロボット工学の文献では、新しいタスクやロボットの学習プロセスを加速するために、ソースタスクまたはロボット(実または仮想)の経験を活用するために異なる知識伝達アプローチが提案されている。
一般的に作られたが、頻繁に検討される前提は、ソースタスクやロボットの経験を取り入れることが有益なことである。
実際には、不適切な知識伝達は負の伝達や安全でない振る舞いをもたらすことがある。
本研究では,ロバスト制御理論からのシステムギャップメトリックである$\nu$-gapに着想を得て,ロボットシステム間の類似性を推定するデータ効率の高いアルゴリズムを提案する。
多元ロボット間転送学習のセットアップでは、この類似度メトリクスにより、相対転送性能を予測でき、知識伝達の前にソースロボットから経験を情報的に選択できることを示す。
提案手法は,実または仮想の4乗子から逆動力学モデルを転送し,任意の手書き軌道上での目標4乗子の追従性能を向上させる方法である。
提案する類似度指標に基づく経験の選択は,目標4乗子の学習を効果的に促進し,選択の悪い経験と比較して62%向上することを示す。
関連論文リスト
- Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳(メタデータ) (2023-10-23T17:50:08Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳(メタデータ) (2021-03-06T09:10:03Z) - Robotic self-representation improves manipulation skills and transfer
learning [14.863872352905629]
我々は,多感覚情報から,身体スキーマと周辺空間の表現を符号化する双方向行動効果関連を学習するモデルを開発する。
本手法は,ノイズ条件下での学習に基づく問題解決を著しく安定化し,ロボット操作スキルの伝達学習を改善することを実証する。
論文 参考訳(メタデータ) (2020-11-13T16:04:58Z) - Towards Closing the Sim-to-Real Gap in Collaborative Multi-Robot Deep
Reinforcement Learning [0.06554326244334865]
分散マルチロボットシステムにおいて,マルチエージェント強化学習が現実とのギャップを埋める方法について分析する。
分散強化学習におけるセンサ,キャリブレーション,精度のミスマッチの効果について紹介する。
異なる種類の摂動と、それらの摂動を経験するエージェントの数の両方が協調学習活動にどのように影響するかについて論じる。
論文 参考訳(メタデータ) (2020-08-18T11:57:33Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z) - When Autonomous Systems Meet Accuracy and Transferability through AI: A
Survey [17.416847623629362]
本稿では,自律システムにおける学習に基づくアプローチを,正確性と伝達可能性の観点から概観する。
敵の学習の利点を示すため、正確性や伝達可能性の見直しに重点を置いている。
本稿では,自律システムにおける対人学習,RL,メタラーニングの課題と今後の課題について論じる。
論文 参考訳(メタデータ) (2020-03-29T04:50:22Z) - Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。
我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。
従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
論文 参考訳(メタデータ) (2020-02-25T18:56:42Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳(メタデータ) (2020-01-02T14:18:25Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。