論文の概要: An analysis of Mirror-Descent Soft Actor-Critic

• arxiv url: http://arxiv.org/abs/2609.35466v1
• Date: Mon, 28 Sep 2026 15:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:11:37.462522
• Title: An analysis of Mirror-Descent Soft Actor-Critic
• Title（参考訳）: ミラー・ディフレッシュ・ソフト・アクター・クライトの解析
• Abstract要約: SAC(Soft Actor-Critic)は、連続的な行動空間を持つエントロピー規則化強化学習に広く用いられている。 我々は、目標方針が政策ミラー降下から生じたときの収束保証を証明し、古典的なギブズ目標と比較する。
• 参考スコア（独自算出の注目度）: 16.64271094036612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft Actor-Critic (SAC) is widely used for entropy-regularised reinforcement learning with continuous action spaces, and practical implementations perform only a few actor steps towards an evolving target. In this work, we prove convergence guarantees when the target policy arises from policy mirror descent and compare it with the classical Gibbs target. We derive sufficient conditions for the strong convexity and smoothness of the actor objective, characterised by the curvature of the $Q$-function estimate through the Legendre differential operator, and establish an $\mathcal{O}\!\left(N^{-\frac{1}{5}}\right)$ best-iterate finite-time convergence rate up to actor and critic approximation errors. Moreover, the mirror-descent step size $λ$ directly controls the target drift and hence actor tracking error, whereas the analogous Gibbs bound contains a non-vanishing tracking term.
• Abstract（参考訳）: SAC(Soft Actor-Critic)は、連続的なアクション空間を持つエントロピー規則化された強化学習に広く用いられている。 本研究は、政策ミラー降下から目標方針が生じたときの収束保証を証明し、古典的なギブズ目標と比較する。 我々は、ルジャンドル微分作用素による$Q$関数推定の曲率によって特徴づけられる、アクター対象の強い凸性と滑らか性に対する十分な条件を導出し、$\mathcal{O}\! N^{-\frac{1}{5}}\right)$ best-iterate finite-time convergence rate to actor and critic approximation error。 さらに、ミラー・ディフレッシュステップサイズ$λ$はターゲットのドリフトを直接制御し、アクター追跡エラーを発生させるが、類似のギブス境界は消滅しない追跡項を含む。

関連論文リスト

• Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis [16.115903198836694]
  拡散ポリシは、マルチモーダルなアクション分布を表すが、アドバンテージ重み付けされた更新では、結果のターゲット分布からサンプルする方法を規定していない。 我々は,KL(Kulback--Leibler)のオフライン-オンライン強化学習(RL)手法であるSchrdinger-Fllmer Actor-Critic (SFAC)を提案する。 適切な条件下では、評価評価、神経ドリフト回帰、有限サンプルSNIS、拡散離散化、およびアクターエラーが期待される平均的政策最適性に与える影響を分離する有限サンプル境界を導出する。
  論文  参考訳（メタデータ） (2026-09-27T05:27:34Z)
• Learning the Supports for Categorical Critic in Reinforcement Learning [44.603295025494674]
  本稿では,サポートの下位境界と上位境界を事前に割り当てる代わりに学習する手法を提案する。 この目的が平均二乗ベルマン誤差の上限となることを示す。 我々の理論的解析は、この境界がHL-Gaussの非学習支援よりも厳密であることを示している。
  論文  参考訳（メタデータ） (2026-07-02T08:34:42Z)
• Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation [50.23374353859762]
  多様な単発デモを収集することで「最大限のカバレッジ」を達成できる。 我々は、この現象を包括的-密度トレードオフとして定式化する。 Anchor-Centric Adaptation (ACA) は、2段階のフレームワークで、まずコアアンカーでの繰り返しデモを通じてポリシースケルトンを安定化し、次に教師力によるエラーマイニングと制約付き残差更新を通じて高リスク境界までカバー範囲を広げる。
  論文  参考訳（メタデータ） (2026-05-08T07:35:24Z)
• Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent [28.166458412533967]
  本稿では,提案手法が固定参照KLVRと等しい基準サンプリング重み付きSFT目標について述べる。 単発Qwen実験は、目標整合重量、一発飽和、リフレッシュサンプラーゲイン、最適化時間の節約の予測証拠を提供する。
  論文  参考訳（メタデータ） (2026-05-04T11:10:32Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Smoothing Policy Iteration for Zero-sum Markov Games [9.158672246275348]
  ゼロサムMGの解法としてスムージングポリシロバストネス(SPI)アルゴリズムを提案する。 特に、対向ポリシーは、作用空間上の効率的なサンプリングを可能にする重み関数として機能する。 また,SPIを関数近似で拡張することにより,Smooth adversarial Actor-critic (SaAC) と呼ばれるモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:39:06Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。 提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
  論文  参考訳（メタデータ） (2022-10-21T22:27:07Z)
• Robust Imitation via Mirror Descent Inverse Reinforcement Learning [18.941048578572577]
  本稿では,制約付き凸問題の反復解である報酬関数列を予測することを提案する。 提案したミラー降下更新規則は,ブレグマンの発散を最小化できることを示す。 我々のIRL法は, 既存手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-20T12:25:21Z)
• A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms [81.01917016753644]
  本稿では,表現学習の観点からアクタ・クリティカルなアルゴリズムの実装における割引ミスマッチについて検討する。 理論的には、アクター批判アルゴリズムは通常、アクターと批評家の両方に対して割引される。 しかし、専門家は通常、ディスカウントされた批評家を使用しながら、俳優の割引(ガンマt$)を無視する。
  論文  参考訳（メタデータ） (2020-10-02T15:51:48Z)
• Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy [122.01837436087516]
  我々は、強化学習アルゴリズムの最も一般的なファミリーの一つであるアクター批判のグローバル収束とグローバル最適性について研究する。 線形関数近似を用いたシングルタイムスケールアクター批評家の収束率と大域的最適性を確立した。
  論文  参考訳（メタデータ） (2020-08-02T14:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。