論文の概要: Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.17243v2
• Date: Fri, 16 Aug 2024 17:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 19:52:42.547224
• Title: Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
• Title（参考訳）: 教師なし強化学習のためのサプライズ適応型固有モチベーション
• Authors: Adriana Hugessen, Roger Creus Castanyer, Faisal Mohamed, Glen Berseth,
• Abstract要約: 教師なし強化学習(RL)のエントロピー最小化とエントロピー最大化は異なる環境において有効であることが示されている。 マルチアームバンディット問題としての選択をフレーミングすることで、エントロピー条件に応じて、その目的をオンラインで適応できるエージェントを提案する。 我々は,このようなエージェントがエントロピーを制御し,高エントロピーと低エントロピーの両体制において創発的な行動を示すことを実証した。
• 参考スコア（独自算出の注目度）: 6.937243101289336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both entropy-minimizing and entropy-maximizing (curiosity) objectives for unsupervised reinforcement learning (RL) have been shown to be effective in different environments, depending on the environment's level of natural entropy. However, neither method alone results in an agent that will consistently learn intelligent behavior across environments. In an effort to find a single entropy-based method that will encourage emergent behaviors in any environment, we propose an agent that can adapt its objective online, depending on the entropy conditions by framing the choice as a multi-armed bandit problem. We devise a novel intrinsic feedback signal for the bandit, which captures the agent's ability to control the entropy in its environment. We demonstrate that such agents can learn to control entropy and exhibit emergent behaviors in both high- and low-entropy regimes and can learn skillful behaviors in benchmark tasks. Videos of the trained agents and summarized findings can be found on our project page https://sites.google.com/view/surprise-adaptive-agents
• Abstract（参考訳）: 教師なし強化学習(RL)のエントロピー最小化とエントロピー最大化(好奇心)は、環境の自然エントロピーのレベルによって異なる環境において有効であることが示されている。 しかし、どちらの手法も環境全体にわたって知的な振る舞いを一貫して学習するエージェントをもたらすものではない。 任意の環境における創発的行動を促す単一のエントロピーに基づく方法を見つけるために,マルチアームバンディット問題としての選択をフレーミングすることで,エントロピー条件に応じて,その目的をオンラインで適応できるエージェントを提案する。 我々は,その環境におけるエントロピーを制御できるエージェントの能力を捉えた,バンディット固有のフィードバックシグナルを考案した。 本研究では,ハイエントロピーと低エントロピーの双方において,エージェントがエントロピーを制御し,創発的行動を示すことを実証し,ベンチマークタスクで熟練した振る舞いを学習できることを実証する。 トレーニングされたエージェントのビデオと要約された発見は、プロジェクトのページ https://sites.google.com/view/surprise-adaptive-agentsで見ることができる。

関連論文リスト

• Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization [17.845518684835913]
  強化学習(RL)では、エージェントは予測可能な行動を示すインセンティブを持たない。 予測可能性を考慮したRL(Predictability-Aware RL)と呼ばれるRLエージェントの予測可能な振る舞いを誘導する新しい手法を提案する。 平均報酬目標としてエントロピー率を定式化する方法を示し,そのエントロピー報酬関数は政策依存であるため,アクション依存のサロゲートエントロピーを導入する。
  論文  参考訳（メタデータ） (2023-11-30T16:53:32Z)
• Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning [10.971411555103574]
  知的エージェントは、環境状態に対する信念の変化を予想する準備をすべきである。 これは特に、安全が最重要となる現実の状況をナビゲートする自動運転車(AV)に当てはまる。 また,本手法により,部分的に観察可能な安全な環境下での堅牢で安全な行動が得られ,トレーニング中に見えない環境に対して良好に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-13T16:47:00Z)
• Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
  我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。 この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
  論文  参考訳（メタデータ） (2021-12-07T18:50:42Z)
• On Assessing The Safety of Reinforcement Learning algorithms Using Formal Methods [6.2822673562306655]
  敵の訓練、敵の検知、堅牢な学習といった安全メカニズムは、エージェントが配備されるすべての障害に常に適応するとは限らない。 したがって,エージェントが直面する学習課題に適応した新しいソリューションを提案する必要がある。 我々は、対向的摂動に直面した際のエージェントのポリシーを改善するために、報酬形成とQ-ラーニングアルゴリズムを防御機構として使用する。
  論文  参考訳（メタデータ） (2021-11-08T23:08:34Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。