論文の概要: StaQ it! Growing neural networks for Policy Mirror Descent

• arxiv url: http://arxiv.org/abs/2506.13862v1
• Date: Mon, 16 Jun 2025 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.191846
• Title: StaQ it! Growing neural networks for Policy Mirror Descent
• Title（参考訳）: StaQ it! ポリシーミラーDescentのためのニューラルネットワークの成長
• Authors: Alena Shilova, Alex Davey, Brahim Driss, Riad Akrour,
• Abstract要約: 強化学習(RL)では、理論と実践の両方において、正規化が一般的なツールとして現れている。 我々は,最後の$M$Q関数のみをメモリに保持するPMDのようなアルゴリズムを提案し,解析する。 有限で十分大きい$M$に対して、収束アルゴリズムを導出することができ、ポリシー更新にエラーは発生しない。
• 参考スコア（独自算出の注目度）: 4.672862669694739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Reinforcement Learning (RL), regularization has emerged as a popular tool both in theory and practice, typically based either on an entropy bonus or a Kullback-Leibler divergence that constrains successive policies. In practice, these approaches have been shown to improve exploration, robustness and stability, giving rise to popular Deep RL algorithms such as SAC and TRPO. Policy Mirror Descent (PMD) is a theoretical framework that solves this general regularized policy optimization problem, however the closed-form solution involves the sum of all past Q-functions, which is intractable in practice. We propose and analyze PMD-like algorithms that only keep the last $M$ Q-functions in memory, and show that for finite and large enough $M$, a convergent algorithm can be derived, introducing no error in the policy update, unlike prior deep RL PMD implementations. StaQ, the resulting algorithm, enjoys strong theoretical guarantees and is competitive with deep RL baselines, while exhibiting less performance oscillation, paving the way for fully stable deep RL algorithms and providing a testbed for experimentation with Policy Mirror Descent.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)では、理論と実践の両方において、一般的なツールとして正規化が登場している。 実際には、これらのアプローチは探索、堅牢性、安定性を改善し、SACやTRPOといった一般的なディープRLアルゴリズムを生み出している。 ポリシーミラー・ダイアンス(PMD)は、この一般正規化政策最適化問題を解く理論的枠組みであるが、クローズドフォームの解には過去のQ-関数の総和が含まれており、実際は難解である。 我々は,最後の$M$Q-関数だけをメモリに保持するPMDのようなアルゴリズムを提案し,また,有限かつ大きめの$M$に対して,事前の深いRL PMD実装とは異なり,ポリシー更新に誤りを生じさせないような収束アルゴリズムを導出できることを示す。 結果のアルゴリズムであるStaQは、強力な理論的保証を享受し、深いRLベースラインと競合する一方で、パフォーマンスの振動が少なく、完全に安定した深いRLアルゴリズムへの道を歩み、ポリシーミラーDescentで実験するためのテストベッドを提供する。

関連論文リスト

• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs [31.663072540757643]
  強化学習(Reinforcement Learning, RL)は, 実世界の課題に応用され, 成功を収めている。 Reinforcement Learning with Optimistic Ascent-Descent (ReLOAD)を紹介する。
  論文  参考訳（メタデータ） (2023-02-02T18:05:27Z)
• Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability [48.62272919754204]
  ベイズ RL の一般化を、おそらくほぼ正しい (PAC) フレームワークで研究する。 我々の主な貢献は、正規化を加えることで、最適な政策が適切な意味で安定することを示しています。
  論文  参考訳（メタデータ） (2021-09-24T07:48:34Z)
• A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning [2.811714058940267]
  本稿では,最小基準点法(MNP)を一般化した条件勾配型アルゴリズムを提案する。 提案手法は,メモリコストを桁違いに削減し,その性能と効率を両立させる。
  論文  参考訳（メタデータ） (2021-08-29T20:51:32Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Mirror Descent Policy Optimization [41.46894905097985]
  MDPO (Em mirror descent Policy Optimization) と呼ばれる効率的なRLアルゴリズムを提案する。 MDPOは、信頼領域問題を概ね解決することで、ポリシーを反復的に更新する。 本稿では,オンラインMDPOと,TRPOとPPOという2つの一般的な信頼領域RLアルゴリズムの関連性を強調し,信頼領域制約を明示的に実施することは,TRPOの性能向上に必要ではないことを示す。
  論文  参考訳（メタデータ） (2020-05-20T01:30:43Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。