Fugu-MT 論文翻訳(概要): Refined Analysis of Entropy-Regularized Actor-Critic

論文の概要: Refined Analysis of Entropy-Regularized Actor-Critic

arxiv url: http://arxiv.org/abs/2605.24357v1
Date: Sat, 23 May 2026 02:41:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:17.951161
Title: Refined Analysis of Entropy-Regularized Actor-Critic
Title（参考訳）: エントロピー規則化アクター・クライトの精製解析
Abstract要約: エントロピー・レギュラー化・有限割引環境における批評家の役割について検討する。これはまず批評家に学び、各アクターのアップデート後に最新の状態に保つことを示唆している。
参考スコア（独自算出の注目度）: 26.419221337454008
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we study the role of the critic in actor--critic for entropy-regularized, finite, discounted environments. We establish that, when the critic is exact, using the latter as a baseline is a variance-reduction method in a strong sense. In this case, actor--critic with stochastic gradients matches the sample complexity of deterministic policy gradient, reaching an $ε$-optimal regularized value with $\tilde{O}(\log(1/ε))$ samples. In practice, the critic is learned alongside the actor: the variance of the actor update is then influenced by the critic's variance and bias. Specifically, when the critic has a sufficiently small error, the variance reduction and rapid convergence are preserved. This suggests to learn the critic first, keeping it up to date after each actor update, underscoring the crucial role of accurate critic estimation in actor--critic methods.
Abstract（参考訳）: 本稿では,エントロピーに規則化された,有限な,割引された環境に対する批評家の役割について検討する。批判が正しければ、後者をベースラインとして使うことは、強い意味で分散還元法であることを示す。この場合、確率勾配を持つアクター批判は決定論的ポリシー勾配のサンプル複雑さと一致し、$ε$-最適正規化値と$\tilde{O}(\log(1/ε))$サンプルに達する。実際には、批評家は俳優と一緒に学び、アクター更新のばらつきは批評家のばらつきと偏見に影響される。特に、批評家の誤差が十分に小さい場合には、ばらつきの低減と急激な収束が保存される。これはまず批評家に学び、各アクターの更新後に最新に保ち、アクターの批判的手法における正確な批評家推定の重要な役割を強調することを示唆している。

関連論文リスト

Co-Evolving Actor-Conditioned Critics for Non-Verifiable Generation [73.11410167573614]
批評家が初期反応についてフィードバックを与え、俳優が修正する。我々は,対象俳優が意図した弱点に対処する上で,そのフィードバックが有効かどうかに依存するアクター条件のリビジョンガイダンスとして批判する。 TAIScoreは、演出、初期反応、批評、リビジョンを一緒に評価し、批評が真の弱点を狙うかどうか、俳優がそれに従うかどうか、意図した側面が改善するかどうかを評価する。実験によると、TAIScoreで訓練された8B批評家は、ゼロショット120B批評家と結果のみまたは批判のみの報酬で訓練された批評家の両方を上回っている。
論文参考訳（メタデータ） (2026-08-31T07:50:57Z)
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning [0.0]
アクター-アクター強化学習のための追加の診断と介入の次元として、批判的複雑性が導入された。 TD3 と PPO の実験全体で、批評家の複雑性はリターンとモンテカルロ値推定バイアスと共に追跡される。次に、批評家の損失にスペクトルエントロピーペナルティを加えることにより、直接の複雑性制御介入を評価する。
論文参考訳（メタデータ） (2026-07-01T05:10:14Z)
EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文参考訳（メタデータ） (2026-04-21T14:07:39Z)
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty [0.0]
強化学習における非政治的アクター批判的手法は、時間差更新で批判者を訓練し、政策(アクター)の学習信号として利用する現在の手法では、限られたデータとあいまいさをモデル化して悲観的な更新をスケールするため、批評家の不確かさを定量化するためにアンサンブルを用いている。本研究では, ベルマンにおける遷移, 報酬, および政策による変動から生じる時間的(1つの)アレータ的不確実性を含む, Actor-C (STAC) と呼ばれる新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2026-01-02T16:33:17Z)
Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees [12.259191000019033]
アクター・クリティック(AC)法は強化学習(RL)に広く用いられている我々は、俳優と批評家を意思決定で訓練するための共同目標を設計する。簡単なRL問題に対する意思決定対応型アクター批判フレームワークの利点を実証的に実証する。
論文参考訳（メタデータ） (2023-05-24T15:34:21Z)
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function [69.59204851882643]
メタグラディエントRLアプローチのメタグラディエントにおけるバイアスを同定する。このバイアスは、メタ学習された割引係数を用いてトレーニングされた批評家を用いて、外的目的の利点を推定することに由来する。メタ学習型割引因子は、通常、外側の目的で使用されるものよりも低いため、結果として生じるバイアスは、メタ学習型が筋電図のポリシーを好む原因となる。
論文参考訳（メタデータ） (2022-11-19T00:59:20Z)
Finite-time analysis of single-timescale actor-critic [8.994243376183658]
アクター批判法は多くの挑戦的なアプリケーションで大きな成功を収めた。有限時間収束は、最も実践的な単一時間スケールの形ではまだ理解されていない。より実用的なオンラインシングルタイム・アクター・クリティカル・アルゴリズムを連続状態空間上で検討する。
論文参考訳（メタデータ） (2022-10-18T15:03:56Z)
A Small Gain Analysis of Single Timescale Actor Critic [16.092248433189816]
本研究では,比例的なステップサイズを用いたアクター・批評家版と,アクター・ステップ毎の静止分布からの1つのサンプルによる1つの批評家更新について検討する。本研究では,本手法が定常点を見つけるのに有効であることが証明され,結果として得られたサンプルの複雑さがアクター批判手法の精度を向上させることが証明された。
論文参考訳（メタデータ） (2022-03-04T22:20:34Z)
A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms [81.01917016753644]
本稿では,表現学習の観点からアクタ・クリティカルなアルゴリズムの実装における割引ミスマッチについて検討する。理論的には、アクター批判アルゴリズムは通常、アクターと批評家の両方に対して割引される。しかし、専門家は通常、ディスカウントされた批評家を使用しながら、俳優の割引(ガンマt$)を無視する。
論文参考訳（メタデータ） (2020-10-02T15:51:48Z)
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy [122.01837436087516]
我々は、強化学習アルゴリズムの最も一般的なファミリーの一つであるアクター批判のグローバル収束とグローバル最適性について研究する。線形関数近似を用いたシングルタイムスケールアクター批評家の収束率と大域的最適性を確立した。
論文参考訳（メタデータ） (2020-08-02T14:01:49Z)
Controlling Overestimation Bias with Truncated Mixture of Continuous Distributional Quantile Critics [65.51757376525798]
過大評価バイアスは、政治以外の学習を正確にするための主要な障害の1つである。本稿では,連続制御環境における過大評価バイアスを軽減する新しい手法について検討する。我々の方法--Truncated Quantile Critics, TQC----は、批評家の分布表現、批評家予測の切り離し、複数の批評家のアンサンブルの3つの考えを反映している。
論文参考訳（メタデータ） (2020-05-08T19:52:26Z)
A Finite Time Analysis of Two Time-Scale Actor Critic Methods [87.69128666220016]
我々は,2つの時間スケールのアクター批判的手法に対する非漸近的解析を行う。本研究では,アクター批判法が一階定常点を見つけることが保証されていることを証明した。有限時間解析とサンプルの複雑さを2つの時間スケールアクター批判的手法に限定した最初の作品である。
論文参考訳（メタデータ） (2020-05-04T09:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。