論文の概要: Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum

• arxiv url: http://arxiv.org/abs/2602.01505v1
• Date: Mon, 02 Feb 2026 00:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.822161
• Title: Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum
• Title（参考訳）: モーメント付き単一時間スケールアクター臨界に対する最適試料複素度
• Authors: Navdeep Kumar, Tehila Dahan, Lior Cohen, Ananyabrata Barua, Giorgia Ramponi, Kfir Yehuda Levy, Shie Mannor,
• Abstract要約: 我々は,シングルタイムスケールアクター・クリティック(AC)アルゴリズムを用いて,$O(-2)$の最適なグローバルポリシを得るための最適なサンプル複雑性を確立する。 これらのメカニズムは、既存のディープラーニングアーキテクチャと互換性があり、実用的な適用性を損なうことなく、小さな修正しか必要としない。
• 参考スコア（独自算出の注目度）: 62.691095807959215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish an optimal sample complexity of $O(ε^{-2})$ for obtaining an $ε$-optimal global policy using a single-timescale actor-critic (AC) algorithm in infinite-horizon discounted Markov decision processes (MDPs) with finite state-action spaces, improving upon the prior state of the art of $O(ε^{-3})$. Our approach applies STORM (STOchastic Recursive Momentum) to reduce variance in the critic updates. However, because samples are drawn from a nonstationary occupancy measure induced by the evolving policy, variance reduction via STORM alone is insufficient. To address this challenge, we maintain a buffer of small fraction of recent samples and uniformly sample from it for each critic update. Importantly, these mechanisms are compatible with existing deep learning architectures and require only minor modifications, without compromising practical applicability.
• Abstract（参考訳）: 無限水平割引マルコフ決定過程 (MDPs) におけるシングルタイムスケールアクタークリティカル (AC) アルゴリズムを用いて,$O(ε^{-2})$の最適なグローバルポリシーを得るための最適なサンプル複雑性を確立し,$O(ε^{-3})$の先行状態を改善する。 本稿では,STORM(Stochastic Recursive Momentum)を用いて,批判更新のばらつきを低減する。 しかし, 変動政策によって引き起こされる非定常占有尺度からサンプルが抽出されるため, STORMのみによる分散低減は不十分である。 この課題に対処するため、我々は最近のサンプルのごく一部をバッファに保持し、批判更新毎に一様にサンプルをサンプリングする。 重要なのは、これらのメカニズムは既存のディープラーニングアーキテクチャと互換性があり、実践的な適用性を損なうことなく、小さな修正しか必要としないことだ。

関連論文リスト

• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• Provably Efficient Sample Complexity for Robust CMDP [7.060086147428817]
  安全制約を満たしつつ累積報酬を最大化する学習政策の問題点を考察する。 我々は,強固な制約付きマルコフ決定プロセス(RCMDPs)に焦点を当てる。そこではエージェントは,累積効用がしきい値を超えることを保証しながら報酬を最大化しなければならない。 本稿では,ロバスト制約値反復(RCVI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-10T04:40:37Z)
• A Variance-Reduced Cubic-Regularized Newton for Policy Optimization [6.52142708235708]
  既存の2階法は、しばしば、重要サンプリングに関する最適でない仮定や非現実的な仮定に悩まされる。 これらの制約を克服するため、分散規則化ニュートン還元推定器であるVR-CR-PNを提案する。 さらなる貢献として、期待された戻り関数に対する新しい水平線を導入し、アルゴリズムが一様サンプルの複雑さを達成できるようにする。
  論文  参考訳（メタデータ） (2025-07-14T10:04:02Z)
• Finite-Time Convergence and Sample Complexity of Actor-Critic Multi-Objective Reinforcement Learning [20.491176017183044]
  本稿では多目的強化学習(MORL)問題に取り組む。 MOACと呼ばれる革新的なアクター批判アルゴリズムを導入し、競合する報酬信号間のトレードオフを反復的に行うことでポリシーを見出す。
  論文  参考訳（メタデータ） (2024-05-05T23:52:57Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。