論文の概要: Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems

• arxiv url: http://arxiv.org/abs/2209.09174v1
• Date: Mon, 19 Sep 2022 16:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 16:05:18.876319
• Title: Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems
• Title（参考訳）: アクティブ予測符号化:スパースリワードロボット制御問題に対する脳誘発強化学習
• Authors: Alexander Ororbia, Ankur Mali
• Abstract要約: ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。 我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。 提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
• 参考スコア（独自算出の注目度）: 79.07468367923619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we propose a backpropagation-free approach to robotic control through the neuro-cognitive computational framework of neural generative coding (NGC), designing an agent built completely from powerful predictive coding/processing circuits that facilitate dynamic, online learning from sparse rewards, embodying the principles of planning-as-inference. Concretely, we craft an adaptive agent system, which we call active predictive coding (ActPC), that balances an internally-generated epistemic signal (meant to encourage intelligent exploration) with an internally-generated instrumental signal (meant to encourage goal-seeking behavior) to ultimately learn how to control various simulated robotic systems as well as a complex robotic arm using a realistic robotics simulator, i.e., the Surreal Robotics Suite, for the block lifting task and can pick-and-place problems. Notably, our experimental results demonstrate that our proposed ActPC agent performs well in the face of sparse (extrinsic) reward signals and is competitive with or outperforms several powerful backprop-based RL approaches.
• Abstract（参考訳）: 本稿では,ニューラルジェネレーティブコーディング(NGC)のニューラル認知計算フレームワークによるロボット制御のバックプロパゲーションフリーアプローチを提案する。この手法は,スパース報酬からの動的オンライン学習を促進する強力な予測符号化/処理回路から完全に構築されたエージェントを設計し,計画・アズ・インスペクションの原理を具現化したものである。 Concretely, we craft an adaptive agent system, which we call active predictive coding (ActPC), that balances an internally-generated epistemic signal (meant to encourage intelligent exploration) with an internally-generated instrumental signal (meant to encourage goal-seeking behavior) to ultimately learn how to control various simulated robotic systems as well as a complex robotic arm using a realistic robotics simulator, i.e., the Surreal Robotics Suite, for the block lifting task and can pick-and-place problems. 特に, 提案するActPCエージェントは, スパース(外因性)報酬信号に対して良好に動作し, バックプロップベースのRLアプローチと競合し, 性能に優れることを示した。

関連論文リスト

• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Bridging Active Exploration and Uncertainty-Aware Deployment Using Probabilistic Ensemble Neural Network Dynamics [11.946807588018595]
  本稿では,活発な探索と不確実性を考慮した展開を橋渡しするモデルベース強化学習フレームワークを提案する。 探索と展開の対立する2つのタスクは、最先端のサンプリングベースのMPCによって最適化されている。 自動運転車と車輪付きロボットの両方で実験を行い、探索と展開の両方に有望な結果を示します。
  論文  参考訳（メタデータ） (2023-05-20T17:20:12Z)
• Active Exploration for Robotic Manipulation [40.39182660794481]
  本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。 我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
  論文  参考訳（メタデータ） (2022-10-23T18:07:51Z)
• Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
  DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2022-06-20T07:19:38Z)
• A neural net architecture based on principles of neural plasticity and development evolves to effectively catch prey in a simulated environment [2.834895018689047]
  A-Lifeにとっての大きな課題は、行動が「ライフライク」なエージェントを深く構築することである。 本稿では,動物の脳を構成するプロセスに類似したプロセスを用いて,人工エージェントを駆動するネットワークを構築するためのアーキテクチャとアプローチを提案する。 このアーキテクチャは、センサー入力の変化に対する迅速な応答を可能にするため、小さな自律ロボットやドローンを制御するのに有用であると考えています。
  論文  参考訳（メタデータ） (2022-01-28T05:10:56Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• A toolbox for neuromorphic sensing in robotics [4.157415305926584]
  ロボット上で利用可能なあらゆる種類のセンサからの入力信号をエンコードし、デコードするためのROS(Robot Operating System)ツールボックスを導入する。 このイニシアチブは、ニューロモルフィックAIのロボット統合を刺激し促進することを目的としている。
  論文  参考訳（メタデータ） (2021-03-03T23:22:05Z)
• Populations of Spiking Neurons for Reservoir Computing: Closed Loop Control of a Compliant Quadruped [64.64924554743982]
  本稿では,ニューラルネットワークを用いた中央パターン生成機構を実装し,閉ループロボット制御を実現するためのフレームワークを提案する。 本研究では,従順な四足歩行ロボットのシミュレーションモデル上で,予め定義された歩行パターン,速度制御,歩行遷移の学習を実演する。
  論文  参考訳（メタデータ） (2020-04-09T14:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。