論文の概要: Revisiting Critic Estimation in Soft Actor-Critic Algorithms

• arxiv url: http://arxiv.org/abs/2611.05666v1
• Date: Tue, 03 Nov 2026 21:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.859257
• Title: Revisiting Critic Estimation in Soft Actor-Critic Algorithms
• Title（参考訳）: ソフト・アクター・クリティカル・アルゴリズムにおける批判的推定の再検討
• Abstract要約: SAC(Soft Actor-Critic)は、エントロピー正規化とアクタークリティカルアーキテクチャを組み合わせた、広く使われている深層強化学習アルゴリズムである。 本研究では,ソフトQ値の代わりにソフトアドバンテージを学習すること,マルチステップリターンターゲットの使用,バッファデータの再生からマルチステップ評論家のトレーニングという3つの選択肢について検討する。
• 参考スコア（独自算出の注目度）: 0.2951541543732647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft Actor-Critic (SAC) is a widely used deep reinforcement learning algorithm that combines entropy regularization with an actor-critic architecture. Standard implementations rely on one-step temporal-difference learning of Q-functions, yet alternative critic design choices remain underexplored. In this work, we revisit three such choices: learning soft advantages instead of soft Q-values, the use of multi-step return targets, and the training of multi-step critics from replay buffer data. Keeping the policy objective fixed, we compare the six critic variants these choices generate: (i) advantage and (ii) dueling-advantage critics learned from one-step transitions, and $λ$-return and soft Generalized Advantage Estimation (GAE) critics learned either (iii, iv) on-policy or (v, vi) from replayed trajectory segments. Each variant is evaluated across an entire random hyperparameter search on fourteen tasks, treating the hyperparameters as part of the algorithm. Learning soft advantages instead of soft Q-values does not improve performance, and the soft GAE critic adds nothing over the simpler $λ$-return critic. What does improve performance, most clearly on continuous control, is training a $λ$-return critic on replayed trajectory segments, even without importance weighting or trace cutting. This extends earlier evidence that uncorrected multi-step targets work well under replay to the full soft $λ$-return, entropy terms included. By design, the underlying ideas studied here extend beyond SAC, and our empirical findings aim to encourage their application to a broader class of reinforcement learning algorithms.
• Abstract（参考訳）: SAC(Soft Actor-Critic)は、エントロピー正規化とアクタークリティカルアーキテクチャを組み合わせた、広く使われている深層強化学習アルゴリズムである。 標準実装はQ-関数の一段階の時間差学習に依存しているが、代替の批判的設計選択は未検討のままである。 本研究では,ソフトQ値の代わりにソフトアドバンテージを学習すること,マルチステップリターンターゲットの使用,バッファデータの再生からマルチステップ評論家のトレーニングという3つの選択肢について検討する。 政策目標を一定に保ちながら、これらの選択が生み出す6つの批判的変種を比較します。 (i)利点、及び (II) デュエルアドバンテージ批評家は1段階の遷移から学び、$λ$-return と Soft Generalized Advantage Estimation (GAE) の批判者は、(iii, iv) オン・ポリティ (iii, iv) または (v, vi) のどちらかを再生軌道セグメントから学んだ。 各変種は、14のタスクでランダムなハイパーパラメーター検索全体にわたって評価され、ハイパーパラメーターをアルゴリズムの一部として扱う。 ソフトQ値の代わりにソフトなアドバンテージを学ぶことは性能を向上するものではなく、ソフトなGAE批判はより単純な$λ$-return批判には何も加わらない。 パフォーマンスを改善するのは、特に継続的制御において、重み付けやトレーサカットが重要でない場合でも、リプレイされた軌道セグメントに対して、λ$-returnの批評家を訓練することである。 これは、修正されていない多段階のターゲットが完全なソフトな$λ$-return(エントロピー項を含む)へのリプレイの下でうまく機能するという以前の証拠を拡張している。 我々の経験的発見は、より広範な強化学習アルゴリズムへの応用を促進することを目的としています。

関連論文リスト

• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Chunking the Critic: A Transformer-based Soft Actor-Critic with N-Step Returns [26.44033413426475]
  ソフトアクターのためのシーケンス条件付き批評家を紹介する--Critic (SAC) 我々の手法は,重要サンプリング(IS)を伴わずに,短い軌道セグメントを条件付け,複数ステップの戻り値を統合することによって,批判そのものを強化する。 その単純さにもかかわらず、私たちのアプローチは標準のSACと強力な非政治ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-03-05T16:47:36Z)
• IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic [52.44637913176449]
  本稿では、模倣学習のためのSOARフレームワークを紹介する。 これは、コストとポリシーの更新を交互に行うプリミティブデュアルスタイルのアルゴリズムで、専門家によるデモンストレーションからポリシーを学ぶアルゴリズムテンプレートである。 いくつかの MuJoCo 環境では,f-IRL,ML-IRL,CSIL などのソフトアクタ批判に基づく模倣学習アルゴリズムの性能を一貫して向上することが示されている。
  論文  参考訳（メタデータ） (2025-02-27T08:03:37Z)
• PAC-Bayesian Soft Actor-Critic Learning [9.752336113724928]
  アクター批判アルゴリズムは、強化学習(RL)と政策評価と2つの関数近似器による改善という2つの目標に対処する。 我々は,このボトルネックに,Soft Actor-Critic (SAC) アルゴリズムの批判的トレーニング目標として,既存の確率的近似(PAC)ベイズ境界を初めて採用することによって対処する。
  論文  参考訳（メタデータ） (2023-01-30T10:44:15Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。