Fugu-MT 論文翻訳(概要): Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment

論文の概要: Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment

arxiv url: http://arxiv.org/abs/2305.11831v1
Date: Fri, 19 May 2023 17:13:42 GMT
ステータス: 処理完了
システム内更新日: 2023-05-22 13:22:09.969491
Title: Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
Title（参考訳）: 自動温度調整によるソフトアクター臨界アルゴリズムの正則化
Authors: Ben You
Abstract要約: 本研究は,ソフトアクタ・クリティカル(SAC)アルゴリズムを自動温度調整で正規化するための包括的解析を行う。政策評価、政策改善、温度調整を改定し、特定の修正に対処し、より明示的な方法で原理論の明確性を高める。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work presents a comprehensive analysis to regularize the Soft Actor-Critic (SAC) algorithm with automatic temperature adjustment. The the policy evaluation, the policy improvement and the temperature adjustment are reformulated, addressing certain modification and enhancing the clarity of the original theory in a more explicit manner.
Abstract（参考訳）: 本研究は,ソフトアクタ・クリティカル(SAC)アルゴリズムを自動温度調整で正規化するための包括的解析を行う。政策評価、政策改善、温度調整を改定し、特定の修正に対処し、より明示的な方法で原理論の明確性を高める。

関連論文リスト

Warm-up Free Policy Optimization: Improved Regret in Linear Markov Decision Processes [12.76843681997386]
ポリシー最適化(PO)手法は、実際に最も人気のある強化学習(RL)アルゴリズムの一つである。本稿では,線形マルコフ決定過程 (MDP) モデルに基づくPOアルゴリズムを提案する。我々のアルゴリズムは、問題の他のパラメータへの依存性を改善して後悔する。
論文参考訳（メタデータ） (2024-07-03T12:36:24Z)
Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文参考訳（メタデータ） (2023-06-18T15:50:57Z)
Adaptive Policy Learning to Additional Tasks [3.43814540650436]
本稿では,事前訓練されたポリシーを調整し,本来のタスクを変更することなく追加タスクに適応するためのポリシー学習手法を開発する。本稿では,適応政策グラディエント (APG) という手法を提案する。これはベルマンの最適性の原理と,収束率を改善するための政策勾配アプローチを組み合わせたものである。
論文参考訳（メタデータ） (2023-05-24T14:31:11Z)
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee [12.884132885360907]
最適制御問題に対するポリシー勾配法を連続的に検討する。勾配流のグローバル収束を証明し、一定の正則性仮定の下で収束率を確立する。
論文参考訳（メタデータ） (2023-02-11T23:30:50Z)
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning [17.916366827429034]
複数の報酬値関数を持つマルコフ決定プロセス(MDP)のポリシー最適化について検討する。本稿では,順応的な一階法からアイデアを取り入れたアンカー変更型正規化自然政策グラディエントフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-10T21:09:44Z)
Bregman Gradient Policy Optimization [97.73041344738117]
本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
論文参考訳（メタデータ） (2021-06-23T01:08:54Z)
Context-Based Soft Actor Critic for Environments with Non-stationary Dynamics [8.318823695156974]
本論文では, LC-SAC(Latent Context-based Soft Actor Critic)手法を提案する。コントラスト予測損失関数を最小化することにより、学習されたコンテキスト変数は、環境ダイナミクスとエージェントの最近の振る舞いに関する情報をキャプチャする。実験の結果, LC-SAC は MetaWorld ML1 タスクの SAC アルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2021-05-07T15:00:59Z)
Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文参考訳（メタデータ） (2021-02-24T10:18:30Z)
Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文参考訳（メタデータ） (2020-09-14T16:22:46Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。