論文の概要: Solving Robust MDPs through No-Regret Dynamics

• arxiv url: http://arxiv.org/abs/2305.19035v2
• Date: Wed, 19 Jun 2024 04:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 09:00:25.028867
• Title: Solving Robust MDPs through No-Regret Dynamics
• Title（参考訳）: 非線形ダイナミクスによるロバストMDPの解法
• Authors: Etash Kumar Guha,
• Abstract要約: 強化学習(Reinforcement Learning)は、エージェントがさまざまな状況をナビゲートするための強力なフレームワークである。 政策訓練法を改善するために,アルゴリズムをどのように利用できるかを示す。
• 参考スコア（独自算出の注目度）: 1.3597551064547502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning is a powerful framework for training agents to navigate different situations, but it is susceptible to changes in environmental dynamics. However, solving Markov Decision Processes that are robust to changes is difficult due to nonconvexity and size of action or state spaces. While most works have analyzed this problem by taking different assumptions on the problem, a general and efficient theoretical analysis is still missing. However, we generate a simple framework for improving robustness by solving a minimax iterative optimization problem where a policy player and an environmental dynamics player are playing against each other. Leveraging recent results in online nonconvex learning and techniques from improving policy gradient methods, we yield an algorithm that maximizes the robustness of the Value Function on the order of $\mathcal{O}\left(\frac{1}{T^{\frac{1}{2}}}\right)$ where $T$ is the number of iterations of the algorithm.
• Abstract（参考訳）: 強化学習(Reinforcement Learning)は、エージェントがさまざまな状況をナビゲートするための強力なフレームワークであるが、環境力学の変化の影響を受けやすい。 しかし、変化に対して堅牢なマルコフ決定過程の解決は、非凸性やアクションや状態空間のサイズのため困難である。 ほとんどの研究は、この問題について異なる仮定をすることでこの問題を分析してきたが、一般的な効率的な理論分析はいまだに欠落している。 しかし,ポリシプレーヤと環境ダイナミクスプレーヤが互いに対戦するミニマックス反復最適化問題を解くことで,ロバスト性向上のためのシンプルなフレームワークを生成する。 オンラインの非凸学習と手法を政策勾配法の改善から活用し、$\mathcal{O}\left(\frac{1}{T^{\frac{1}{2}}}\right)$で値関数のロバスト性を最大化するアルゴリズムを得る。

関連論文リスト

• Consistent Submodular Maximization [27.266085572522847]
  定性制約下での単調部分モジュラ関数の最大化は、データマイニングや機械学習におけるいくつかの応用において古典的な最適化課題である。 本稿では, 安定解を持ちながら, ストリーミング方式で要素が到着し, 最適解に対する定数近似が維持されるという, 一貫性の制約のある動的環境において, この問題を考察する。 この設定では、一貫性と近似品質のトレードオフが異なるアルゴリズムを提供しています。
  論文  参考訳（メタデータ） (2024-05-30T11:59:58Z)
• Addressing the issue of stochastic environments and local decision-making in multi-objective reinforcement learning [0.0]
  多目的強化学習(MORL)は、従来の強化学習(RL)に基づく比較的新しい分野である。 この論文は、価値に基づくMORL Q-learningアルゴリズムが環境の最適ポリシーを学習する頻度に影響を与える要因に焦点を当てている。
  論文  参考訳（メタデータ） (2022-11-16T04:56:42Z)
• Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach [0.3093890460224435]
  我々は、新しい強化学習手法を用いて、人気のあるWordleパズルの解法に対処する。 Wordleパズルでは、比較的控えめな計算コストで最適に近いオンラインソリューション戦略が得られる。
  論文  参考訳（メタデータ） (2022-11-15T03:46:41Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• A framework for bilevel optimization that enables stochastic and global variance reduction algorithms [17.12280360174073]
  双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。 本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。 我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
  論文  参考訳（メタデータ） (2022-01-31T18:17:25Z)
• Continuous-Time Fitted Value Iteration for Robust Policies [93.25997466553929]
  ハミルトン・ヤコビ・ベルマン方程式の解法は、制御、ロボティクス、経済学を含む多くの領域において重要である。 連続適合値反復(cFVI)とロバスト適合値反復(rFVI)を提案する。 これらのアルゴリズムは、多くの連続制御問題の非線形制御-アフィンダイナミクスと分離可能な状態とアクション報酬を利用する。
  論文  参考訳（メタデータ） (2021-10-05T11:33:37Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。