Fugu-MT 論文翻訳(概要): The Exploration-Exploitation Dilemma Revisited: An Entropy Perspective

論文の概要: The Exploration-Exploitation Dilemma Revisited: An Entropy Perspective

arxiv url: http://arxiv.org/abs/2408.09974v1
Date: Mon, 19 Aug 2024 13:21:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-08-20 16:13:49.775556
Title: The Exploration-Exploitation Dilemma Revisited: An Entropy Perspective
Title（参考訳）: 探究-膨張ジレンマ再考:エントロピーの視点から
Authors: Renye Yan, Yaozhong Gan, You Wu, Ling Liang, Junliang Xing, Yimao Cai, Ru Huang,
Abstract要約: 政策最適化において、探索への過度な依存は学習効率を低下させる一方、搾取への過度な依存は、局地的最適化においてエージェントを罠にする可能性がある。本稿では,エントロピーの観点から,探査・探査ジレンマを再考する。我々は、AdaZeroと呼ばれるエンドツーエンド適応フレームワークを構築し、探索するか、活用するかを自動的に決定する。
参考スコア（独自算出の注目度）: 18.389232051345825
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The imbalance of exploration and exploitation has long been a significant challenge in reinforcement learning. In policy optimization, excessive reliance on exploration reduces learning efficiency, while over-dependence on exploitation might trap agents in local optima. This paper revisits the exploration-exploitation dilemma from the perspective of entropy by revealing the relationship between entropy and the dynamic adaptive process of exploration and exploitation. Based on this theoretical insight, we establish an end-to-end adaptive framework called AdaZero, which automatically determines whether to explore or to exploit as well as their balance of strength. Experiments show that AdaZero significantly outperforms baseline models across various Atari and MuJoCo environments with only a single setting. Especially in the challenging environment of Montezuma, AdaZero boosts the final returns by up to fifteen times. Moreover, we conduct a series of visualization analyses to reveal the dynamics of our self-adaptive mechanism, demonstrating how entropy reflects and changes with respect to the agent's performance and adaptive process.
Abstract（参考訳）: 探究と搾取の不均衡は、長い間強化学習において重要な課題であった。政策最適化において、探索への過度な依存は学習効率を低下させる一方、搾取への過度な依存は、局地的最適化においてエージェントを罠にする可能性がある。本稿では,エントロピーと探査・利用の動的適応過程との関係を明らかにすることにより,エントロピーの観点からの探索-探索ジレンマを再考する。この理論的な洞察に基づいて、我々はAdaZeroと呼ばれるエンドツーエンド適応フレームワークを構築し、探索するか、活用するか、そしてその強度のバランスを自動で決定する。実験によると、AdaZeroは、AtariとMuJoCoのさまざまな環境におけるベースラインモデルを、単一の設定で大幅に上回っている。特にモンテズマの挑戦的な環境では、アダゼロは最終リターンを最大15倍押し上げる。さらに, エージェントの性能と適応過程に関して, エントロピーがどのように振舞い, 変化するかを実証し, 自己適応機構のダイナミクスを明らかにするために, 一連の可視化分析を行った。

関連論文リスト

Entropy-based Exploration Conduction for Multi-step Reasoning [15.589134593402589]
大規模言語モデル(LLM)の推論では、多段階プロセスは複雑なタスクを解くのに効果的であることが証明されている。奥行きを自動的に判断する既存の手法は、しばしば高いコストと柔軟性の欠如をもたらす。本研究では,探査深度を動的に調整するエントロピーに基づく探査深度伝導法(エントロダクション)を提案する。
論文参考訳（メタデータ） (2025-03-20T05:03:26Z)
Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
論文参考訳（メタデータ） (2024-07-17T09:45:27Z)
Dealing with uncertainty: balancing exploration and exploitation in deep recurrent reinforcement learning [0.0]
環境に関する不完全な知識は、不確実性の下で意思決定を行うエージェントを導く。強化学習(Reinforcement Learning, RL)では、自律的なエージェントが2つの対照的なニーズのバランスを取る必要がある。適応的手法は、探索と搾取の間のトレードオフを近似した方がよいことを示す。
論文参考訳（メタデータ） (2023-10-12T13:45:33Z)
Self-supervised network distillation: an effective approach to exploration in sparse reward environments [0.0]
強化学習は、事前に設計された報酬関数に従って、エージェントが環境の中で振る舞うように訓練することができる。そのような問題の解決策は、エージェントに情報的な探索を提供する本質的な動機を与えることであるかもしれない。本稿では, 蒸留誤差に基づく本質的な動機づけアルゴリズムである自己教師ネットワーク蒸留(SND)を新規性指標として提示する。
論文参考訳（メタデータ） (2023-02-22T18:58:09Z)
Deep Intrinsically Motivated Exploration in Continuous Control [0.0]
連続的なシステムでは、ネットワークのパラメータや選択されたアクションがランダムノイズによって乱されるような、間接的でない戦略によって探索が行われることが多い。我々は、動物モチベーションシステムに関する既存の理論を強化学習パラダイムに適応させ、新しい探究戦略を導入する。我々のフレームワークは、より大きく多様な状態空間に拡張し、ベースラインを劇的に改善し、間接的でない戦略を大幅に上回る。
論文参考訳（メタデータ） (2022-10-01T14:52:16Z)
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning [64.8463574294237]
本稿では,効率的かつ定量的な探索手法として,Rewarding Episodic Visitation Discrepancy (REVD)を提案する。 REVDは、R'enyiの発散に基づくエピソード間の訪問不一致を評価することによって、本質的な報酬を提供する。 PyBullet Robotics EnvironmentsとAtariゲームでテストされている。
論文参考訳（メタデータ） (2022-09-19T08:42:46Z)
Active Exploration for Inverse Reinforcement Learning [58.295273181096036]
Inverse Reinforcement Learning (AceIRL) のための新しいIRLアルゴリズムを提案する。 AceIRLは、専門家の報酬関数を素早く学習し、良い政策を特定するために、未知の環境と専門家のポリシーを積極的に探求する。我々はシミュレーションにおいてAceIRLを実証的に評価し、より単純な探索戦略よりも著しく優れていることを発見した。
論文参考訳（メタデータ） (2022-07-18T14:45:55Z)
Information is Power: Intrinsic Control via Information Capture [110.3143711650806]
我々は,潜時状態空間モデルを用いて推定したエージェントの状態訪問のエントロピーを最小化する,コンパクトで汎用的な学習目的を論じる。この目的は、不確実性の低減に対応する環境情報収集と、将来の世界状態の予測不可能性の低減に対応する環境制御の両方をエージェントに誘導する。
論文参考訳（メタデータ） (2021-12-07T18:50:42Z)
Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
論文参考訳（メタデータ） (2021-06-04T10:03:36Z)
Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
論文参考訳（メタデータ） (2020-10-17T09:54:51Z)
Ecological Reinforcement Learning [76.9893572776141]
このような条件下での学習を容易にする環境特性について検討する。環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
論文参考訳（メタデータ） (2020-06-22T17:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。