Fugu-MT 論文翻訳(概要): Exploitation Is All You Need... for Exploration

論文の概要: Exploitation Is All You Need... for Exploration

arxiv url: http://arxiv.org/abs/2508.01287v1
Date: Sat, 02 Aug 2025 09:42:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.804877
Title: Exploitation Is All You Need... for Exploration
Title（参考訳）: 探査に必要なのは爆発だけ
Authors: Micah Rentschler, Jesse Roberts,
Abstract要約: 実験対象を最大化するために訓練されたエージェントは, にもかかわらず, 創発的な探索行動を示すことができることを示す。適切な前提条件の下では、探索と搾取は目的として扱われる必要はないが、統一的な報酬-最大化プロセスから生まれる可能性がある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Ensuring sufficient exploration is a central challenge when training meta-reinforcement learning (meta-RL) agents to solve novel environments. Conventional solutions to the exploration-exploitation dilemma inject explicit incentives such as randomization, uncertainty bonuses, or intrinsic rewards to encourage exploration. In this work, we hypothesize that an agent trained solely to maximize a greedy (exploitation-only) objective can nonetheless exhibit emergent exploratory behavior, provided three conditions are met: (1) Recurring Environmental Structure, where the environment features repeatable regularities that allow past experience to inform future choices; (2) Agent Memory, enabling the agent to retain and utilize historical interaction data; and (3) Long-Horizon Credit Assignment, where learning propagates returns over a time frame sufficient for the delayed benefits of exploration to inform current decisions. Through experiments in stochastic multi-armed bandits and temporally extended gridworlds, we observe that, when both structure and memory are present, a policy trained on a strictly greedy objective exhibits information-seeking exploratory behavior. We further demonstrate, through controlled ablations, that emergent exploration vanishes if either environmental structure or agent memory is absent (Conditions 1 & 2). Surprisingly, removing long-horizon credit assignment (Condition 3) does not always prevent emergent exploration-a result we attribute to the pseudo-Thompson Sampling effect. These findings suggest that, under the right prerequisites, exploration and exploitation need not be treated as orthogonal objectives but can emerge from a unified reward-maximization process.
Abstract（参考訳）: メタ強化学習(meta-RL)エージェントを訓練して、新しい環境を解決する場合、十分な探索を確保することが中心的な課題である。探索-探索ジレンマに対する従来の解決策は、ランダム化、不確実性ボーナス、探索を促進するために本質的な報酬などの明示的なインセンティブを注入する。本研究は,(1)過去の経験が将来の選択に影響を及ぼすような再現可能な規則性を特徴とする環境構造の再帰,(2)エージェントが過去のインタラクションデータを保持・活用できるエージェント記憶,(3)学習の伝播が遅れた探索の利益に十分な時間枠を振り返るロング・ホライゾン・クレジット・アサインメントの3つの条件を満たすことを前提として,学習目標を最大化するために訓練されたエージェントが創発的な探索行動を示すことができることを仮定する。確率的マルチアームバンディットと時間的に拡張されたグリッドワールドの実験を通して、構造と記憶の両方が存在する場合、厳密な欲求目標に基づいて訓練されたポリシーが情報探索探索行動を示すことを観察する。さらに,環境構造やエージェントメモリが欠如している場合,創発的探索が消滅する制御されたアブレーション(第1・第2編)を実証する。意外なことに、長期信用代行の取り消し(契約書) 3) 創発的な探索を常に防ぐとは限らない - 擬似トンプソンサンプリング効果による結果である。これらの結果は,適切な前提条件の下では,探索と利用を直交目的として扱う必要はなく,統一的な報酬-最大化プロセスから得ることを示唆している。

関連論文リスト

Intrinsically-Motivated Humans and Agents in Open-World Exploration [50.00331050937369]
複雑なオープンエンド環境で、大人、子供、AIエージェントを比較します。エントロピーとエンパワーメントだけが、人類の探査の進歩と一貫して正の相関関係にあることがわかった。個人の発話,特に目的語化が子どもの探索に有効であることを示す予備的証拠を見出した。
論文参考訳（メタデータ） (2025-03-31T00:09:00Z)
Deterministic Exploration via Stationary Bellman Error Maximization [6.474106100512158]
探索は強化学習(RL)の重要かつ特異な側面である本稿では,後者を安定させ,決定論的探索政策に到達するための3つの修正点を紹介する。実験結果から,本手法は高密度かつスパースな報酬設定において,$varepsilon$-greedyよりも優れていることがわかった。
論文参考訳（メタデータ） (2024-10-31T11:46:48Z)
Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
論文参考訳（メタデータ） (2024-07-17T09:45:27Z)
Successor-Predecessor Intrinsic Exploration [18.440869985362998]
本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
論文参考訳（メタデータ） (2023-05-24T16:02:51Z)
Discovering and Exploiting Sparse Rewards in a Learned Behavior Space [0.46736439782713946]
スパース報酬設定における最適ポリシーの学習は、学習エージェントが行動の質に対するフィードバックをほとんど、あるいは全く持っていないため困難である。 STAXは, 与えられた報酬を効率的に最適化しつつ, 行動空間を学習し, 探索するために設計されたアルゴリズムである。
論文参考訳（メタデータ） (2021-11-02T22:21:11Z)
Long-Term Exploration in Persistent MDPs [68.8204255655161]
RbExplore (Rollback-Explore) と呼ばれる探査手法を提案する。本稿では,マルコフ決定過程を永続的に決定する手法であるロールバック・エクスロア (RbExplore) を提案する。我々は,ペルシャのプリンス・オブ・ペルシャゲームにおいて,報酬やドメイン知識を伴わずに,我々のアルゴリズムを検証した。
論文参考訳（メタデータ） (2021-09-21T13:47:04Z)
Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration [20.38772636693469]
我々は、好奇心を高速な環境探索や、特定のタスクに対するボーナス報酬として使うだけでは、この手法の潜在能力を最大限に活用できないと論じている。好奇心に基づく学習において出現する行動の維持に焦点を移すことを提案する。
論文参考訳（メタデータ） (2021-09-17T15:28:25Z)
Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文参考訳（メタデータ） (2021-07-12T17:58:40Z)
Locally Persistent Exploration in Continuous Control Tasks with Sparse Rewards [0.0]
2つの直観に基づく新しい探索法を提案する。次の探索アクションの選択は、環境の(マルコフの)状態だけでなく、エージェントの軌道にも依存する必要があります。本稿では,局所的自己回避歩行の理論的特性と,短期記憶の提供能力について論じる。
論文参考訳（メタデータ） (2020-12-26T01:30:26Z)
Fast active learning for pure exploration in reinforcement learning [48.98199700043158]
1/n$でスケールしたボーナスはより高速な学習率をもたらし、地平線への依存に関して既知の上限を改善します。また, 停止時間の解析を改良することにより, 最良政体識別設定におけるサンプルの複雑さを$H$で改善できることも示している。
論文参考訳（メタデータ） (2020-07-27T11:28:32Z)
Planning to Explore via Self-Supervised World Models [120.31359262226758]
Plan2Exploreは自己監督型強化学習エージェントである。我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
論文参考訳（メタデータ） (2020-05-12T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。