論文の概要: Bidirectional Progressive Neural Networks with Episodic Return Progress
for Emergent Task Sequencing and Robotic Skill Transfer
- arxiv url: http://arxiv.org/abs/2403.04001v1
- Date: Wed, 6 Mar 2024 19:17:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 16:03:16.756073
- Title: Bidirectional Progressive Neural Networks with Episodic Return Progress
for Emergent Task Sequencing and Robotic Skill Transfer
- Title（参考訳）: 創発的タスクシークエンシングとロボットスキル伝達のためのエピソディック・リターン・プログレス付き双方向進行型ニューラルネットワーク
- Authors: Suzan Ece Ada, Hanne Say, Emre Ugur, Erhan Oztop
- Abstract要約: 双方向進行型ニューラルネットワーク(ERP-BPNN)を用いた多タスク強化学習フレームワークについて紹介する。
提案するERP-BPNNモデルは,(2)本質的なモチベーション信号に基づく自律的なタスク切替によって,人間のようなインターリーブ方式で学習する。
本研究では,ERP-BPNNによる累積収束の高速化と,形態的に異なるロボットに比較して,全ての指標の性能向上を図っている。
- 参考スコア（独自算出の注目度）: 1.7205106391379026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human brain and behavior provide a rich venue that can inspire novel control
and learning methods for robotics. In an attempt to exemplify such a
development by inspiring how humans acquire knowledge and transfer skills among
tasks, we introduce a novel multi-task reinforcement learning framework named
Episodic Return Progress with Bidirectional Progressive Neural Networks
(ERP-BPNN). The proposed ERP-BPNN model (1) learns in a human-like interleaved
manner by (2) autonomous task switching based on a novel intrinsic motivation
signal and, in contrast to existing methods, (3) allows bidirectional skill
transfer among tasks. ERP-BPNN is a general architecture applicable to several
multi-task learning settings; in this paper, we present the details of its
neural architecture and show its ability to enable effective learning and skill
transfer among morphologically different robots in a reaching task. The
developed Bidirectional Progressive Neural Network (BPNN) architecture enables
bidirectional skill transfer without requiring incremental training and
seamlessly integrates with online task arbitration. The task arbitration
mechanism developed is based on soft Episodic Return progress (ERP), a novel
intrinsic motivation (IM) signal. To evaluate our method, we use quantifiable
robotics metrics such as 'expected distance to goal' and 'path straightness' in
addition to the usual reward-based measure of episodic return common in
reinforcement learning. With simulation experiments, we show that ERP-BPNN
achieves faster cumulative convergence and improves performance in all metrics
considered among morphologically different robots compared to the baselines.
- Abstract（参考訳）: 人間の脳と行動は、ロボット工学の新しい制御と学習方法を刺激する豊富な場所を提供する。
本研究では,タスク間の知識獲得と伝達スキルの育成をめざして,多タスク強化学習フレームワークであるEpsodic Return Progress with Bidirectional Progressive Neural Networks (ERP-BPNN)を導入する。
提案するerp-bpnnモデル(1)は,新たな本質的モチベーション信号に基づく自律的なタスクスイッチングと,既存の手法とは対照的に,タスク間の双方向のスキル伝達を可能にする。
erp-bpnnは、複数のマルチタスク学習環境に適用可能な汎用アーキテクチャであり、本論文では、そのニューラルアーキテクチャの詳細と、到達タスクにおける形態的異なるロボット間の効果的な学習とスキル伝達を可能にする能力を示す。
開発した双方向プログレッシブニューラルネットワーク(bpnn)アーキテクチャは,インクリメンタルなトレーニングを必要とせず,オンラインタスク調停とシームレスに統合可能な双方向スキル転送を実現する。
開発したタスク調停機構は、新しい本質的モチベーション(im)信号であるsoft episodic return progress(erp)に基づいている。
提案手法の評価には,強化学習に共通する報酬に基づく回帰帰納度測定に加えて,「目標への予測距離」や「パスストレートネス」などの定量化ロボティクス指標を用いる。
シミュレーション実験により,ERP-BPNNによる累積収束の高速化と,形態学的に異なるロボットに比較して,全ての指標の性能向上が示された。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。
汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。
VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文 参考訳（メタデータ） (2024-05-23T01:43:54Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - The Spike Gating Flow: A Hierarchical Structure Based Spiking Neural
Network for Online Gesture Recognition [12.866549161582412]
我々は,脳に触発されたスパイキングニューラルネットワーク(SNN)をベースとした,オンライン行動学習のためのスパイキングゲーティングフロー(SGF)というシステムを開発した。
我々の知る限りでは、これは非バックプロパゲーションアルゴリズムに基づくSNNの中で最も正確である。
論文 参考訳（メタデータ） (2022-06-04T04:37:56Z) - Avoiding Catastrophe: Active Dendrites Enable Multi-Task Learning in
Dynamic Environments [0.5277756703318046]
AIの鍵となる課題は、動的に変化する環境で動作する組み込みシステムを構築することだ。
標準的なディープラーニングシステムは、しばしば動的なシナリオで苦労する。
本稿では生物学的にインスパイアされたアーキテクチャをソリューションとして検討する。
論文 参考訳（メタデータ） (2021-12-31T19:52:42Z) - Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。
軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。
NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
論文 参考訳（メタデータ） (2020-12-04T18:59:32Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳（メタデータ） (2020-05-05T14:16:54Z) - Indirect and Direct Training of Spiking Neural Networks for End-to-End
Control of a Lane-Keeping Vehicle [12.137685936113384]
生物学的シナプス可塑性に基づくスパイクニューラルネットワーク(SNN)の構築は、高速でエネルギー効率のよい計算を実現するための有望な可能性を秘めている。
本稿では,車線維持車両におけるSNNの間接的および直接的エンドツーエンドのトレーニング手法について紹介する。
論文 参考訳（メタデータ） (2020-03-10T09:35:46Z) - On Simple Reactive Neural Networks for Behaviour-Based Reinforcement
Learning [5.482532589225552]
本稿では,Brookの仮定アーキテクチャに着想を得た行動に基づく強化学習手法を提案する。
作業上の前提は、ロボット開発者のドメイン知識を活用することで、ロボットのピック・アンド・プレイス・タスクを単純化できるということです。
提案手法では,8000エピソードのピック・アンド・プレイス・タスクを学習し,エンド・ツー・エンドアプローチで必要とされるトレーニング・エピソードの数を劇的に削減する。
論文 参考訳（メタデータ） (2020-01-22T11:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。