論文の概要: Enhancing Reinforcement Learning Agents with Local Guides

• arxiv url: http://arxiv.org/abs/2402.13930v1
• Date: Wed, 21 Feb 2024 16:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 14:30:21.413221
• Title: Enhancing Reinforcement Learning Agents with Local Guides
• Title（参考訳）: 地域ガイドによる強化学習エージェントの強化
• Authors: Paul Daoudi, Bogdan Robu, Christophe Prieur, Ludovic Dos Santos and Merwan Barlier
• Abstract要約: 本稿では,既存のアルゴリズムを用いてローカルガイドポリシーを強化学習エージェントに統合する方法を示す。 このアプローチは、適切な近似政策評価スキームに基づいて、ローカルガイドをより優れた行動へと注意深く導く摂動を提供する。
• 参考スコア（独自算出の注目度）: 3.3811247908085855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of integrating local guide policies into a Reinforcement Learning agent. For this, we show how to adapt existing algorithms to this setting before introducing a novel algorithm based on a noisy policy-switching procedure. This approach builds on a proper Approximate Policy Evaluation (APE) scheme to provide a perturbation that carefully leads the local guides towards better actions. We evaluated our method on a set of classical Reinforcement Learning problems, including safety-critical systems where the agent cannot enter some areas at the risk of triggering catastrophic consequences. In all the proposed environments, our agent proved to be efficient at leveraging those policies to improve the performance of any APE-based Reinforcement Learning algorithm, especially in its first learning stages.
• Abstract（参考訳）: 本稿では,ローカルガイドポリシーを強化学習エージェントに統合する問題に対処する。 そこで本研究では,この設定に既存のアルゴリズムを適用して,ノイズの多いポリシスイッチング手順に基づく新しいアルゴリズムを導入する方法について述べる。 このアプローチは、適切な近似政策評価(ape)スキームに基づいて、地域ガイドをよりよい行動へと慎重に導く摂動を提供する。 本手法は,破滅的な結果を引き起こす危険のある領域にエージェントが侵入できない安全クリティカルシステムを含む,古典的強化学習の一連の問題に対して評価した。 提案したすべての環境において,APEに基づく強化学習アルゴリズムの性能向上にこれらのポリシーを有効活用することが実証された。

関連論文リスト

• PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods [0.0]
  本稿では,分散強化学習フレームワークとポリシ勾配アルゴリズムを組み合わせた新しいアルゴリズムPG-Rainbowを紹介する。 政策ネットワークに報酬分配情報を統合することで、政策エージェントが強化された能力を取得するという経験的結果を示す。
  論文  参考訳（メタデータ） (2024-07-18T04:18:52Z)
• Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach [3.130722489512822]
  遅延フィードバックを伴う環境における制御問題に対する新しい強化学習手法を提案する。 具体的には,決定論的計画を用いた従来の手法に対して,計画を採用する。 この定式化は、決定論的遷移の問題に対する最適ポリシーを回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-01T03:53:56Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning [139.53668999720605]
  本稿では,各エージェントのローカルポリシーをバニラPPOと同様に更新するマルチエージェントPPOアルゴリズムを提案する。 マルコフゲームにおける標準正則条件と問題依存量により、我々のアルゴリズムはサブリニアレートで大域的最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T16:20:03Z)
• Lexicographic Multi-Objective Reinforcement Learning [65.90380946224869]
  このような問題を解決するために,アクション値アルゴリズムとポリシー勾配アルゴリズムの両方のファミリを提案する。 エージェントの動作に安全制約を課すのに我々のアルゴリズムをどのように使用できるかを示し、この文脈でのそれらの性能を他の制約付き強化学習アルゴリズムと比較する。
  論文  参考訳（メタデータ） (2022-12-28T10:22:36Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
  遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。 我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T01:14:20Z)
• Improving Safety in Deep Reinforcement Learning using Unsupervised Action Planning [4.2955354157580325]
  深層強化学習(Deep RL)における重要な課題の1つは、トレーニングとテストフェーズの両方で安全性を確保することである。 そこで本稿では,オンライン強化学習アルゴリズムの安全性を向上させるために,教師なし行動計画の新たな手法を提案する。 提案アルゴリズムは,離散制御と連続制御の両問題において,複数のベースラインと比較して高い報酬を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-29T10:26:29Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)
• Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning [5.476958867922322]
  強化学習の基本的な課題は、訓練中に経験した操作領域を超えて一般化するポリシーを学ぶことである。 本稿では,この原則を実装した新しい学習アルゴリズムである不変ポリシー最適化(IPO)を提案し,トレーニング中に不変ポリシーを学習する。
  論文  参考訳（メタデータ） (2020-06-01T17:28:19Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。