論文の概要: Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems

• arxiv url: http://arxiv.org/abs/2004.12846v2
• Date: Tue, 28 Apr 2020 10:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 04:10:41.601231
• Title: Evolving Inborn Knowledge For Fast Adaptation in Dynamic POMDP Problems
• Title（参考訳）: 動的POMDP問題における高速適応のための固有知識の進化
• Authors: Eseoghene Ben-Iwhiwhu, Pawel Ladosz, Jeffery Dick, Wen-Hua Chen, Praveen Pilly, Andrea Soltoggio
• Abstract要約: 本稿では,POMDPにおける自己エンコーダの潜伏空間を利用した制御器を進化させるために,ニューラルネットワークの高度適応性を利用する。 生まれながらの知識とオンラインの可塑性の統合は、進化的でないメタ強化学習アルゴリズムと比較して、迅速な適応と性能の向上を可能にした。
• 参考スコア（独自算出の注目度）: 5.23587935428994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid online adaptation to changing tasks is an important problem in machine learning and, recently, a focus of meta-reinforcement learning. However, reinforcement learning (RL) algorithms struggle in POMDP environments because the state of the system, essential in a RL framework, is not always visible. Additionally, hand-designed meta-RL architectures may not include suitable computational structures for specific learning problems. The evolution of online learning mechanisms, on the contrary, has the ability to incorporate learning strategies into an agent that can (i) evolve memory when required and (ii) optimize adaptation speed to specific online learning problems. In this paper, we exploit the highly adaptive nature of neuromodulated neural networks to evolve a controller that uses the latent space of an autoencoder in a POMDP. The analysis of the evolved networks reveals the ability of the proposed algorithm to acquire inborn knowledge in a variety of aspects such as the detection of cues that reveal implicit rewards, and the ability to evolve location neurons that help with navigation. The integration of inborn knowledge and online plasticity enabled fast adaptation and better performance in comparison to some non-evolutionary meta-reinforcement learning algorithms. The algorithm proved also to succeed in the 3D gaming environment Malmo Minecraft.
• Abstract（参考訳）: タスク変更に対する迅速なオンライン適応は、機械学習において重要な問題であり、最近ではメタ強化学習に焦点が当てられている。 しかし、強化学習(RL)アルゴリズムは、システムの状態が常に見えるとは限らないため、POMDP環境では困難である。 さらに、手書きのメタRLアーキテクチャは、特定の学習問題に対して適切な計算構造を含まない場合がある。 オンライン学習メカニズムの進化は、それとは対照的に、学習戦略をエージェントに組み込む能力を持っている i) 必要なときに記憶を進化させ、 (ii)特定のオンライン学習問題に対する適応速度の最適化。 本稿では,神経修飾ニューラルネットワークの高度適応性を利用して,pomdpにおけるオートエンコーダの潜在空間を利用した制御系を進化させる。 進化したネットワークの分析は、暗黙の報酬を示す手がかりの検出やナビゲーションに役立つ位置ニューロンの進化など、様々な面で、提案されたアルゴリズムが生来の知識を取得する能力を明らかにしている。 生まれながらの知識とオンラインの可塑性の統合は、進化的でないメタ強化学習アルゴリズムと比較して、迅速な適応と性能の向上を可能にした。 このアルゴリズムは、3dゲーム環境のmalmo minecraftでも成功した。

関連論文リスト

• Meta-Learning Strategies through Value Maximization in Neural Networks [7.285835869818669]
  完全に規範的な目的に対して制御信号を効率よく最適化できる学習活動フレームワークを提案する。 本稿では,一般的なメタ学習アルゴリズムにおける近似の影響について検討する。 設定全体では、学習の早い段階でタスクの容易な側面に適用する場合、制御の取り組みが最も有益であることが分かります。
  論文  参考訳（メタデータ） (2023-10-30T18:29:26Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling [7.859988850911321]
  Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。 層固有の高速メモリでディープニューラルネットワークを強化する。 様々な逐次適応シナリオにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2020-09-03T17:06:52Z)
• Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
  本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。 目的はオンラインで発見されるため、時間とともに変化に適応することができる。 Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
  論文  参考訳（メタデータ） (2020-07-16T16:17:09Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Adaptive Reinforcement Learning through Evolving Self-Modifying Neural Networks [0.0]
  強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。 最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。 ここでは,四足歩行におけるメタラーニングの課題について検討する。 その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
  論文  参考訳（メタデータ） (2020-05-22T02:24:44Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)
• Uncertainty-based Modulation for Lifelong Learning [1.3334365645271111]
  本稿では、Stephen Grossberg氏のAdaptive Resonance Theory(Adaptive Resonance Theory)提案に基づき、ヒト脳の神経調節機構にインスパイアされたアルゴリズムを提案する。 具体的には、不確実性の概念に基づいて構築され、継続的な学習を可能にするために一連の神経調節機構を使用している。 我々は,環境やエージェントの行動が学習過程を制約し,指導する閉ループ方式でこれらのシステムを開発する上で重要な役割を実証する。
  論文  参考訳（メタデータ） (2020-01-27T14:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。