論文の概要: Meta-learning curiosity algorithms

• arxiv url: http://arxiv.org/abs/2003.05325v1
• Date: Wed, 11 Mar 2020 14:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 13:48:30.594567
• Title: Meta-learning curiosity algorithms
• Title（参考訳）: メタ学習好奇心アルゴリズム
• Authors: Ferran Alet, Martin F. Schneider, Tomas Lozano-Perez, Leslie Pack Kaelbling
• Abstract要約: 我々はメタラーニングの1つとして好奇行動を生成する問題を定式化する。 私たちのリッチなプログラム言語は、ニューラルネットワークとバッファ、最も近いモジュール、カスタムロス関数といった他のビルディングブロックを結合します。 画像入力,アクロボット,月面着陸機,アリ,ホッパーを備えたグリッドナビゲーションと異なる領域において,人間の設計したキュリオシティアルゴリズムと同等以上の性能を持つ2つの新しいキュリオシティアルゴリズムが発見された。
• 参考スコア（独自算出の注目度）: 26.186627089223624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We hypothesize that curiosity is a mechanism found by evolution that encourages meaningful exploration early in an agent's life in order to expose it to experiences that enable it to obtain high rewards over the course of its lifetime. We formulate the problem of generating curious behavior as one of meta-learning: an outer loop will search over a space of curiosity mechanisms that dynamically adapt the agent's reward signal, and an inner loop will perform standard reinforcement learning using the adapted reward signal. However, current meta-RL methods based on transferring neural network weights have only generalized between very similar tasks. To broaden the generalization, we instead propose to meta-learn algorithms: pieces of code similar to those designed by humans in ML papers. Our rich language of programs combines neural networks with other building blocks such as buffers, nearest-neighbor modules and custom loss functions. We demonstrate the effectiveness of the approach empirically, finding two novel curiosity algorithms that perform on par or better than human-designed published curiosity algorithms in domains as disparate as grid navigation with image inputs, acrobot, lunar lander, ant and hopper.
• Abstract（参考訳）: 好奇心は進化によって発見されたメカニズムであり、エージェントの人生の初期に有意義な探索を奨励し、その生涯を通じて高い報酬を得ることができる経験にそれを露出させるものであると仮定する。 外部ループはエージェントの報酬信号を動的に適応する好奇性機構の空間を探索し、内部ループは適応された報酬信号を用いて標準的な強化学習を行う。 しかし、ニューラルネットワークの重み移動に基づく現在のメタRL法は、非常に類似したタスク間でのみ一般化されている。 一般化を広めるため、代わりにメタ学習アルゴリズムを提案する。ml論文で人間が設計したものと同じようなコード断片である。 私たちのリッチなプログラム言語は、ニューラルネットワークとバッファ、最も近いモジュール、カスタムロス関数といった他のビルディングブロックを結合します。 本手法の有効性を実証し,画像入力,acrobot,lunar lander,ant,hopperを用いたグリッドナビゲーションと同等の領域で,人間の設計したキュリオシティアルゴリズムと同等以上の性能を持つ2つの新しいキュリオシティアルゴリズムを発見した。

関連論文リスト

• Curiosity-Driven Reinforcement Learning based Low-Level Flight Control [95.42181254494287]
  本研究では,オドメトリデータから適切な運動速度を生成することにより,自律学習のための好奇心の駆動に基づくアルゴリズムを提案する。 探索パターンの進化における好奇心の効果を可視化したアルゴリズムとアルゴリズムを用いて、オン・ポリティ、オフ・ポリティ、オン・ポリティ、オン・ポリティと好奇心を用いたテストを実行した。
  論文  参考訳（メタデータ） (2023-07-28T11:46:28Z)
• Navigating to Objects in the Real World [76.1517654037993]
  本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。 モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。 対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
  論文  参考訳（メタデータ） (2022-12-02T01:10:47Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Improving exploration in policy gradient search: Application to symbolic optimization [6.344988093245026]
  多くの機械学習戦略は、ニューラルネットワークを利用して数学記号の大きな空間を探索する。 従来の進化的アプローチとは対照的に、検索のコアでニューラルネットワークを使用することで、より高いレベルのシンボルパターンを学習することができる。 これらの手法は, 性能の向上, サンプル効率の向上, シンボル回帰の課題に対する解の複雑さの低減を図っている。
  論文  参考訳（メタデータ） (2021-07-19T21:11:07Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• A Study of the Mathematics of Deep Learning [1.14219428942199]
  深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。 この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
  論文  参考訳（メタデータ） (2021-04-28T22:05:54Z)
• Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
  本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。 目的はオンラインで発見されるため、時間とともに変化に適応することができる。 Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
  論文  参考訳（メタデータ） (2020-07-16T16:17:09Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。