論文の概要: Learning to Explore in Diverse Reward Settings via Temporal-Difference-Error Maximization

• arxiv url: http://arxiv.org/abs/2506.13345v1
• Date: Mon, 16 Jun 2025 10:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.195098
• Title: Learning to Explore in Diverse Reward Settings via Temporal-Difference-Error Maximization
• Title（参考訳）: 時間差誤差最大化による逆方向設定の探索学習
• Authors: Sebastian Griesbach, Carlo D'Eramo,
• Abstract要約: 本研究では,密度,疎度,探索-逆報酬設定に対して頑健な,新しい探索手法である安定誤差探索(SEE)を提案する。 本手法では,遠方政治学習による不安定性の軽減,累積的TDエラーをエピソード設定で最大化する関心の対立,TDエラーの非定常的性質の3つの設計選択を導入する。
• 参考スコア（独自算出の注目度）: 6.474106100512158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous heuristics and advanced approaches have been proposed for exploration in different settings for deep reinforcement learning. Noise-based exploration generally fares well with dense-shaped rewards and bonus-based exploration with sparse rewards. However, these methods usually require additional tuning to deal with undesirable reward settings by adjusting hyperparameters and noise distributions. Rewards that actively discourage exploration, i.e., with an action cost and no other dense signal to follow, can pose a major challenge. We propose a novel exploration method, Stable Error-seeking Exploration (SEE), that is robust across dense, sparse, and exploration-adverse reward settings. To this endeavor, we revisit the idea of maximizing the TD-error as a separate objective. Our method introduces three design choices to mitigate instability caused by far-off-policy learning, the conflict of interest of maximizing the cumulative TD-error in an episodic setting, and the non-stationary nature of TD-errors. SEE can be combined with off-policy algorithms without modifying the optimization pipeline of the original objective. In our experimental analysis, we show that a Soft-Actor Critic agent with the addition of SEE performs robustly across three diverse reward settings in a variety of tasks without hyperparameter adjustments.
• Abstract（参考訳）: 多くのヒューリスティックと先進的なアプローチが、深層強化学習のための異なる環境での探索のために提案されている。 ノイズに基づく探索は一般的に、密な形をした報酬や、粗い報酬を伴うボーナスベースの探索と相性が良い。 しかし、これらの手法は、通常、過度パラメータとノイズ分布を調整することで、望ましくない報酬設定を扱うために追加のチューニングを必要とする。 探索を積極的に妨げているリワード、すなわち、行動コストとそれに続く高密度な信号がないことは、大きな課題となる。 本研究では,密度,疎度,探索-逆報酬設定に対して頑健な,新しい探索手法である安定誤差探索(SEE)を提案する。 この取り組みのために、我々はTDエラーを個別の目的として最大化するという考えを再考する。 本手法では,遠方政治学習による不安定性の軽減,累積的TDエラーをエピソード設定で最大化する関心の対立,TDエラーの非定常的性質の3つの設計選択を導入する。 SEEは、元の目的の最適化パイプラインを変更することなく、外部のアルゴリズムと組み合わせることができる。 実験分析では,SEEを付加したソフトアクター批判エージェントが,ハイパーパラメータ調整を伴わない様々なタスクにおいて,3種類の報酬設定に対して頑健に機能することを示した。

関連論文リスト

• MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization [91.80034860399677]
  強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。 我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。 提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
  論文  参考訳（メタデータ） (2024-12-16T18:59:53Z)
• Deterministic Exploration via Stationary Bellman Error Maximization [6.474106100512158]
  探索は強化学習(RL)の重要かつ特異な側面である 本稿では,後者を安定させ,決定論的探索政策に到達するための3つの修正点を紹介する。 実験結果から,本手法は高密度かつスパースな報酬設定において,$varepsilon$-greedyよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T11:46:48Z)
• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  RLE(Random Latent Exploration)は、強化学習における単純かつ効果的な探索戦略である。 RLEは、エージェントの行動を混乱させるノイズベースの手法と、新しい行動を試みるエージェントに報酬を与えるボーナスベースの探索を平均的に上回る。 RLEはノイズベースの手法と同じくらい単純であり、複雑なボーナス計算は避けるが、ボーナスベースの手法の深い探索の利点を保っている。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• DeNoising-MOT: Towards Multiple Object Tracking with Severe Occlusions [52.63323657077447]
  DNMOTは、複数のオブジェクト追跡のためのエンドツーエンドのトレーニング可能なDeNoising Transformerである。 具体的には、トレーニング中にノイズを伴って軌道を拡大し、エンコーダ・デコーダアーキテクチャのデノイング過程をモデルに学習させる。 我々はMOT17,MOT20,DanceTrackのデータセットについて広範な実験を行い,実験結果から,提案手法が従来の最先端手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-09T04:40:01Z)
• On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
  エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。 関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。 我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
  論文  参考訳（メタデータ） (2021-10-19T07:26:33Z)
• ADER:Adapting between Exploration and Robustness for Actor-Critic Methods [8.750251598581102]
  プリミティブな環境では,Vanilla actor-criticメソッドよりもTD3のパフォーマンスが遅れていることが示される。 本稿では,探索とロバストネスの間に適応する新しいアルゴリズム,すなわちADERを提案する。 いくつかの挑戦的な環境における実験は、連続制御タスクにおける提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2021-09-08T05:48:39Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Dynamic Subgoal-based Exploration via Bayesian Optimization [7.297146495243708]
  スパース・リワードナビゲーション環境における強化学習は困難であり、効果的な探索の必要性を生じさせる。 本稿では,動的サブゴールに基づく探索手法のクラスを効率的に探索する,費用対効果を考慮したベイズ最適化手法を提案する。 実験により、新しいアプローチは、多くの問題領域で既存のベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2019-10-21T04:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。