論文の概要: Survival of the Fittest: Evolutionary Adaptation of Policies for Environmental Shifts

• arxiv url: http://arxiv.org/abs/2410.19852v1
• Date: Tue, 22 Oct 2024 09:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 16:01:34.124397
• Title: Survival of the Fittest: Evolutionary Adaptation of Policies for Environmental Shifts
• Title（参考訳）: 環境変化に対する政策の進化的適応
• Authors: Sheryl Paul, Jyotirmoy V. Deshmukh,
• Abstract要約: 進化ゲーム理論(EGT)にインスパイアされた適応的再学習アルゴリズムを開発する。 ERPOは、ポリシー適応の高速化、平均報酬の向上、およびポリシー適応の計算コストの削減を示す。
• 参考スコア（独自算出の注目度）: 0.15889427269227555
• License:
• Abstract: Reinforcement learning (RL) has been successfully applied to solve the problem of finding obstacle-free paths for autonomous agents operating in stochastic and uncertain environments. However, when the underlying stochastic dynamics of the environment experiences drastic distribution shifts, the optimal policy obtained in the trained environment may be sub-optimal or may entirely fail in helping find goal-reaching paths for the agent. Approaches like domain randomization and robust RL can provide robust policies, but typically assume minor (bounded) distribution shifts. For substantial distribution shifts, retraining (either with a warm-start policy or from scratch) is an alternative approach. In this paper, we develop a novel approach called {\em Evolutionary Robust Policy Optimization} (ERPO), an adaptive re-training algorithm inspired by evolutionary game theory (EGT). ERPO learns an optimal policy for the shifted environment iteratively using a temperature parameter that controls the trade off between exploration and adherence to the old optimal policy. The policy update itself is an instantiation of the replicator dynamics used in EGT. We show that under fairly common sparsity assumptions on rewards in such environments, ERPO converges to the optimal policy in the shifted environment. We empirically demonstrate that for path finding tasks in a number of environments, ERPO outperforms several popular RL and deep RL algorithms (PPO, A3C, DQN) in many scenarios and popular environments. This includes scenarios where the RL algorithms are allowed to train from scratch in the new environment, when they are retrained on the new environment, or when they are used in conjunction with domain randomization. ERPO shows faster policy adaptation, higher average rewards, and reduced computational costs in policy adaptation.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, 確率的かつ不確実な環境で動作している自律エージェントに対して, 障害物のない経路を見つけることの問題を解決するために, 成功している。 しかしながら、環境の基盤となる確率力学が急激な分布シフトを経験する場合、訓練された環境で得られた最適方針は準最適か、エージェントの目標達成パスを見つけるのに完全に失敗する可能性がある。 ドメインのランダム化やロバストなRLのようなアプローチはロバストなポリシーを提供するが、通常は小さな(有界な)分布シフトを仮定する。 実質的な分散シフトでは、リトレーニング(ウォームスタートポリシーかスクラッチから)が代替のアプローチである。 本稿では,進化ゲーム理論(EGT)にインスパイアされた適応的再学習アルゴリズムであるERPO ( {\em Evolutionary Robust Policy Optimization) を開発した。 ERPOは、探索と古い最適ポリシーへの固執の間のトレードオフを制御する温度パラメータを用いて、シフトした環境に対する最適ポリシーを反復的に学習する。 ポリシー更新自体は、EGTで使用される複製子ダイナミクスのインスタンス化である。 このような環境における報酬に対する比較的一般的な空間的仮定の下では、ERPOはシフトした環境における最適ポリシーに収束する。 我々は,多数の環境における経路探索タスクにおいて,ERPOが多くのシナリオや一般的な環境において,いくつかのRLアルゴリズムや深部RLアルゴリズム(PPO,A3C,DQN)より優れていることを実証的に実証した。 これには、新しい環境でRLアルゴリズムをスクラッチからトレーニングしたり、新しい環境で再トレーニングされたり、ドメインのランダム化と併用されたりするシナリオが含まれる。 ERPOは、ポリシー適応の高速化、平均報酬の向上、およびポリシー適応の計算コストの削減を示す。

関連論文リスト

• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• A Conservative Approach for Few-Shot Transfer in Off-Dynamics Reinforcement Learning [3.1515473193934778]
  オフダイナミックス強化学習(英語: Off-dynamics Reinforcement Learning)は、ソース環境から、異なるが類似したダイナミクスによって特徴づけられるターゲット環境へポリシーを移そうとする。 我々は近年のImitation Learningと保守的RLアルゴリズムの進歩に触発された革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-24T13:09:08Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Robust Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
  連続的な行動領域では、パラメータ化された行動分布は容易に探索の制御を可能にする。 特に,摂動分布を利用したロバストポリシ最適化(RPO)アルゴリズムを提案する。 我々は,DeepMind Control,OpenAI Gym,Pybullet,IsaacGymの各種連続制御タスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-14T22:43:56Z)
• Dichotomy of Control: Separating What You Can Control from What You Cannot [129.62135987416164]
  政策の制御(行動)と政策の制御(環境)以外のメカニズムを分離する将来の条件付き教師あり学習フレームワークを提案する。 我々は,DoCが条件付入力と整合したポリシを出力し,学習したポリシを所望のハイリターン未来結果に条件付けすることで,高リターン行動が正しく引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-10-24T17:49:56Z)
• Learning Robust Policy against Disturbance in Transition Dynamics via State-Conservative Policy Optimization [63.75188254377202]
  深層強化学習アルゴリズムは、ソースとターゲット環境の相違により、現実世界のタスクでは不十分な処理を行うことができる。 本研究では,前もって乱れをモデル化せずにロバストなポリシーを学習するための,モデルフリーなアクター批判アルゴリズムを提案する。 いくつかのロボット制御タスクの実験では、SCPOは遷移力学の乱れに対する堅牢なポリシーを学習している。
  論文  参考訳（メタデータ） (2021-12-20T13:13:05Z)
• Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design [121.73425076217471]
  本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。 プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。 実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-03T17:37:01Z)
• Self-Supervised Policy Adaptation during Deployment [98.25486842109936]
  セルフスーパービジョンでは、報酬を使わずに、デプロイ後のトレーニングを継続することができる。 DeepMind Control スイートと ViZDoom の様々なシミュレーション環境で実証評価を行う。 提案手法は,36環境中31環境での一般化を向上し,多くの環境においてドメインランダム化に優れる。
  論文  参考訳（メタデータ） (2020-07-08T17:56:27Z)
• Fast Adaptation via Policy-Dynamics Value Functions [41.738462615120326]
  本稿では,従来のトレーニングと異なる動的に迅速に適応するための新しいアプローチとして,ポリシ・ダイナミックス値関数(PD-VF)を紹介する。 PD-VFは、ポリシーと環境の空間における累積報酬を明示的に推定する。 提案手法は, MuJoCo ドメインの集合上で, 新たな動的処理に迅速に適応可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-06T16:47:56Z)
• Provably Efficient Model-based Policy Adaptation [22.752774605277555]
  有望なアプローチは、事前訓練されたポリシーを新しい環境に迅速に適応させることである。 この政策適応問題の既存の方法は、通常ドメインのランダム化とメタラーニングに依存している。 未確認のターゲット環境でのオンライン適応を可能にする新しいモデルベースメカニズムを提案する。
  論文  参考訳（メタデータ） (2020-06-14T23:16:20Z)
• Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic [11.601356612579641]
  本稿では,RLアルゴリズムの一般化能力を向上させるために,ミニマックスの定式化と分散フレームワークを提案する。 我々は交差点における自動運転車の意思決定タスクに本手法を実装し,異なる環境下で訓練された政策を検証した。
  論文  参考訳（メタデータ） (2020-02-13T14:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。