Fugu-MT 論文翻訳(概要): Heavy-Ball Momentum Accelerated Actor-Critic With Function Approximation

論文の概要: Heavy-Ball Momentum Accelerated Actor-Critic With Function Approximation

arxiv url: http://arxiv.org/abs/2408.06945v2
Date: Fri, 16 Aug 2024 15:09:09 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 10:58:09.017888
Title: Heavy-Ball Momentum Accelerated Actor-Critic With Function Approximation
Title（参考訳）: ファンクション近似を用いたヘビーボールモーメント加速アクタークリティカル
Authors: Yanjie Dong, Haijun Zhang, Gang Wang, Shisheng Cui, Xiping Hu,
Abstract要約: まず,重ボールモーメントを線形関数でパラメータ化した批判再帰に組み込むことにより,モーメントに基づくベネフィット・アクター・クリティカル(mboxHB-A2C)アルゴリズムを提案する。理論的には,提案したHB-A2Cは,マルコフ雑音を伴う強化学習タスクに,$ooepsilon$-approximate stationary pointと$ooepsilon-2$ iterationsを付与することがわかった。
参考スコア（独自算出の注目度）: 23.0232418013817
License: http://creativecommons.org/licenses/by/4.0/
Abstract: By using an parametric value function to replace the Monte-Carlo rollouts for value estimation, the actor-critic (AC) algorithms can reduce the variance of stochastic policy gradient so that to improve the convergence rate. While existing works mainly focus on analyzing convergence rate of AC algorithms under Markovian noise, the impacts of momentum on AC algorithms remain largely unexplored. In this work, we first propose a heavy-ball momentum based advantage actor-critic (\mbox{HB-A2C}) algorithm by integrating the heavy-ball momentum into the critic recursion that is parameterized by a linear function. When the sample trajectory follows a Markov decision process, we quantitatively certify the acceleration capability of the proposed HB-A2C algorithm. Our theoretical results demonstrate that the proposed HB-A2C finds an $\epsilon$-approximate stationary point with $\oo{\epsilon^{-2}}$ iterations for reinforcement learning tasks with Markovian noise. Moreover, we also reveal the dependence of learning rates on the length of the sample trajectory. By carefully selecting the momentum factor of the critic recursion, the proposed HB-A2C can balance the errors introduced by the initialization and the stoschastic approximation.
Abstract（参考訳）: パラメータ値関数を用いて、モンテカルロロールアウトを値推定に置き換えることで、アクタークリティカル(AC)アルゴリズムは確率的ポリシー勾配の分散を低減し、収束率を改善することができる。既存の研究は主にマルコフ雑音下でのACアルゴリズムの収束速度の分析に重点を置いているが、ACアルゴリズムに対する運動量の影響は未解明のままである。本研究では,まず,重ボールモーメントを線形関数でパラメータ化した批判再帰に組み込むことにより,重ボールモーメントに基づくベネフィット・アクター・クリティック(\mbox{HB-A2C})アルゴリズムを提案する。サンプル軌道がマルコフ決定過程に従うと、提案したHB-A2Cアルゴリズムの加速能力を定量的に証明する。提案したHB-A2Cは,マルコフ雑音による強化学習タスクに対して,$\epsilon$-approximate stationary point with $\oo{\epsilon^{-2}}$ iterations を求める。また,学習速度が標本軌跡の長さに依存することも明らかにした。批判再帰のモーメント係数を慎重に選択することにより、提案したHB-A2Cは、初期化と確率近似によって生じる誤差のバランスをとることができる。

関連論文リスト

Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise [17.493808856903303]
近似アルゴリズムを解析する根本的な課題は、その安定性を確立することである。本稿では,マルティンゲール差分雑音設定からマルコフ雑音設定へ有界な安定に対するボルカー・メイン定理を拡張する。我々の分析の中心は、少数の関数の変化の減少率であり、これは多量の強い法則の形式とよく用いられるV4 Lynovドリフト条件の両方によって示唆される。
論文参考訳（メタデータ） (2024-01-15T17:20:17Z)
Online Multi-Agent Decentralized Byzantine-robust Gradient Estimation [62.997667081978825]
本アルゴリズムは,同時摂動,セキュアな状態推定,2時間スケール近似に基づく。また,数値実験によるアルゴリズムの性能も示す。
論文参考訳（メタデータ） (2022-09-30T07:29:49Z)
Momentum-Based Policy Gradient with Second-Order Information [40.51117836892182]
本稿では,2次情報を勾配降下に組み込んだSHARP法を提案する。従来の研究と異なり,提案アルゴリズムでは,分散還元プロセスの利点を損なうような重要サンプリングを必要としない。提案手法が様々な制御課題に対して有効であることを示すとともに,実際の技術状況に対する優位性を示す。
論文参考訳（メタデータ） (2022-05-17T11:56:50Z)
A Two-Time-Scale Stochastic Optimization Framework with Applications in Control and Reinforcement Learning [13.908826484332282]
最適化問題の解法として,新しい2段階勾配法を提案する。最初の貢献は、提案した2時間スケール勾配アルゴリズムの有限時間複雑性を特徴づけることである。我々は、強化学習における勾配に基づく政策評価アルゴリズムに適用する。
論文参考訳（メタデータ） (2021-09-29T23:15:23Z)
COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization [4.970364068620608]
我々は,勾配オラクルによって出力される雑音の推定値を改善するために,凸性およびL平滑性を利用する。問合せ点の数と近さの増加は、より良い勾配推定に繋がることを示す。また、SGD、Adam、STRSAGAといった既存のアルゴリズムにCOCOをプラグインすることで、バニラ設定にもCOCOを適用します。
論文参考訳（メタデータ） (2021-09-07T17:21:09Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文参考訳（メタデータ） (2021-02-23T18:56:13Z)
Non-asymptotic Convergence Analysis of Two Time-scale (Natural) Actor-Critic Algorithms [58.57004511121862]
アクタークリティカル(AC)とナチュラルアクタークリティカル(NAC)のアルゴリズムは、最適なポリシーを見つけるために2つの方法で実行されることが多い。 2つの時間スケールACは、$mathcalO(epsilon-2.5log3(epsilon-1))$で、$epsilon$-accurateの定常点に達するために、全体のサンプルの複雑さを必要とすることを示す。我々は,動的にマルコフサンプリングが変化するため,アクターのバイアス誤差をバウンドする新しい手法を開発した。
論文参考訳（メタデータ） (2020-05-07T15:42:31Z)
Stochastic Approximation with Markov Noise: Analysis and applications in reinforcement learning [0.0]
マルコフ雑音によって駆動される2つの時間スケール近似の収束解析を初めて提示する。両方の時間スケールにおける差分包摂を限定することで、フレームワークの挙動を分析する。ポリシ評価アルゴリズムの関数近似における最初の情報的誤差境界を求める。
論文参考訳（メタデータ） (2020-04-08T03:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。