論文の概要: Adaptive trajectory-constrained exploration strategy for deep reinforcement learning

• arxiv url: http://arxiv.org/abs/2312.16456v1
• Date: Wed, 27 Dec 2023 07:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 19:28:20.963614
• Title: Adaptive trajectory-constrained exploration strategy for deep reinforcement learning
• Title（参考訳）: 深部強化学習のための適応軌道制約探索戦略
• Authors: Guojian Wang, Faguo Wu, Xiao Zhang, Ning Guo, Zhiming Zheng
• Abstract要約: 深層強化学習 (DRL) は, まばらさや虚偽の報奨や大きな状態空間を持つタスクにおいて, ハード探索問題に対処する上で, 重大な課題に直面している。 DRLの最適軌道制約探索法を提案する。 2つの大きな2次元グリッドワールド迷路と複数のMuJoCoタスクについて実験を行った。
• 参考スコア（独自算出の注目度）: 6.589742080994319
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep reinforcement learning (DRL) faces significant challenges in addressing the hard-exploration problems in tasks with sparse or deceptive rewards and large state spaces. These challenges severely limit the practical application of DRL. Most previous exploration methods relied on complex architectures to estimate state novelty or introduced sensitive hyperparameters, resulting in instability. To mitigate these issues, we propose an efficient adaptive trajectory-constrained exploration strategy for DRL. The proposed method guides the policy of the agent away from suboptimal solutions by leveraging incomplete offline demonstrations as references. This approach gradually expands the exploration scope of the agent and strives for optimality in a constrained optimization manner. Additionally, we introduce a novel policy-gradient-based optimization algorithm that utilizes adaptively clipped trajectory-distance rewards for both single- and multi-agent reinforcement learning. We provide a theoretical analysis of our method, including a deduction of the worst-case approximation error bounds, highlighting the validity of our approach for enhancing exploration. To evaluate the effectiveness of the proposed method, we conducted experiments on two large 2D grid world mazes and several MuJoCo tasks. The extensive experimental results demonstrate the significant advantages of our method in achieving temporally extended exploration and avoiding myopic and suboptimal behaviors in both single- and multi-agent settings. Notably, the specific metrics and quantifiable results further support these findings. The code used in the study is available at \url{https://github.com/buaawgj/TACE}.
• Abstract（参考訳）: 深層強化学習 (DRL) は, まばらさや虚偽の報奨や大きな状態空間を持つタスクにおいて, ハード探索問題に対処する上で大きな課題に直面している。 これらの課題はDRLの実用化を著しく制限した。 以前の調査手法のほとんどは、状態の新規性を推定するために複雑なアーキテクチャに依存していた。 この問題を軽減するため,drlの適応軌道拘束型探索手法を提案する。 提案手法は,不完全なオフラインデモを参照として活用することにより,エージェントのポリシーを最適化ソリューションから遠ざけている。 このアプローチはエージェントの探索範囲を徐々に拡大し、制約付き最適化方式で最適性を求める。 さらに,シングルエージェントとマルチエージェントの強化学習に適応的にクリッピングされた軌道距離報酬を利用する新しいポリシ勾配に基づく最適化アルゴリズムを提案する。 本稿では,最悪の近似誤差境界の導出を含む手法の理論的解析を行い,探索を強化するためのアプローチの有効性を強調した。 提案手法の有効性を評価するため,2つの大きな2次元グリッドワールド迷路と複数のMuJoCoタスクの実験を行った。 広範に実験した結果, 時間的に拡張された探索と, 単一エージェントとマルチエージェントの両方において, 近視的, 準最適動作を回避できる重要な利点が示された。 特に、特定の測定値と定量化結果がこれらの発見をさらに支持している。 この研究で使用されたコードは \url{https://github.com/buaawgj/tace} で入手できる。

関連論文リスト

• Action abstractions for amortized sampling [49.384037138511246]
  本稿では、政策最適化プロセスに行動抽象化(高レベルの行動)の発見を組み込むアプローチを提案する。 我々のアプローチでは、多くの高次軌道にまたがってよく使われるアクション列を反復的に抽出し、それらをアクション空間に追加する単一のアクションにチャンキングする。
  論文  参考訳（メタデータ） (2024-10-19T19:22:50Z)
• Provably Efficient Exploration in Inverse Constrained Reinforcement Learning [12.178081346315523]
  逆制約強化学習(Inverse Constrained Reinforcement Learning)は、データ駆動方式で専門家によるデモンストレーションから制約を回復する。 効率性を保証する戦略的探索フレームワークを導入する。 そこで本研究では,効率的な制約推論を実現するための探索アルゴリズムを2つ提案する。
  論文  参考訳（メタデータ） (2024-09-24T10:48:13Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [7.83845308102632]
  LOPE: Learning Online with trajectory Preference guidancE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能に関して、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Trajectory-Oriented Policy Optimization with Sparse Rewards [2.9602904918952695]
  本稿では,より高速で効率的なオンラインRLを実現するために,オフラインのデモトラジェクトリを利用する手法を提案する。 私たちの重要な洞察は、単なる模倣ではなく、オフラインのデモの軌跡をガイダンスとして扱うことです。 次に、この最適化問題をポリシー段階のアルゴリズムに合理化することができ、オフラインのデモンストレーションから得られる洞察によって形作られた報酬を統合する。
  論文  参考訳（メタデータ） (2024-01-04T12:21:01Z)
• Hyperparameter Optimization for Multi-Objective Reinforcement Learning [0.27309692684728615]
  強化学習(Reinforcement Learning, RL)は、複雑な問題に対処するための強力なアプローチである。 近年,多目的強化学習(MORL)の導入により,RLの範囲が拡大した。 実際には、このタスクは難しいことがしばしば証明され、これらのテクニックのデプロイが失敗に終わる。
  論文  参考訳（メタデータ） (2023-10-25T09:17:25Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Online Control of Adaptive Large Neighborhood Search using Deep Reinforcement Learning [4.374837991804085]
  DR-ALNSと呼ばれる深層強化学習に基づくアプローチを導入し、演算子を選択し、パラメータを調整し、検索全体を通して受け入れ基準を制御する。 提案手法は,IJCAIコンペティションで提示されたオリエンテーリングウェイトと時間窓の問題に対して評価する。 その結果,本手法はバニラALNSよりも優れており,ALNSはベイジアン最適化と2つの最先端DRLアプローチに適合していることがわかった。
  論文  参考訳（メタデータ） (2022-11-01T21:33:46Z)
• MADE: Exploration via Maximizing Deviation from Explored Regions [48.49228309729319]
  オンライン強化学習(RL)では、高次元環境における効率的な探索は依然として困難であり、報酬は少ない。 調査地域からの次の政策の逸脱を最大化することによる新たな探索手法を提案する。 提案手法は,最先端手法よりもサンプル効率を著しく向上させる。
  論文  参考訳（メタデータ） (2021-06-18T17:57:00Z)
• Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions [77.34726150561087]
  本稿では, 惑星間軌道のロバスト設計における強化学習の適用について検討する。 最先端アルゴリズムのオープンソース実装が採用されている。 その結果得られた誘導制御ネットワークは、堅牢な名目的軌道と関連する閉ループ誘導法の両方を提供する。
  論文  参考訳（メタデータ） (2020-08-19T15:22:15Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。