Fugu-MT 論文翻訳(概要): Corrected Soft Actor Critic for Continuous Control

論文の概要: Corrected Soft Actor Critic for Continuous Control

arxiv url: http://arxiv.org/abs/2410.16739v1
Date: Tue, 22 Oct 2024 06:46:28 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-23 14:29:54.255059
Title: Corrected Soft Actor Critic for Continuous Control
Title（参考訳）: 連続制御のための補正ソフトアクター批判
Authors: Yanjun Chen, Xinming Zhang, Xianghui Wang, Zhiqiang Xu, Xiaoyu Shen, Wei Zhang,
Abstract要約: SAC(Soft Actor-Critic)アルゴリズムは、その安定性と深層強化学習における高サンプリング効率で知られている。本稿では,変換された分布内の最も可能性の高い動作を直接同定し,選択する,新しいアクションサンプリング手法を提案する。
参考スコア（独自算出の注目度）: 20.942509669153413
License:
Abstract: The Soft Actor-Critic (SAC) algorithm is known for its stability and high sample efficiency in deep reinforcement learning. However, the tanh transformation applied to sampled actions in SAC distorts the action distribution, hindering the selection of the most probable actions. This paper presents a novel action sampling method that directly identifies and selects the most probable actions within the transformed distribution, thereby addressing this issue. Extensive experiments on standard continuous control benchmarks demonstrate that the proposed method significantly enhances SAC's performance, resulting in faster convergence and higher cumulative rewards compared to the original algorithm.
Abstract（参考訳）: SAC(Soft Actor-Critic)アルゴリズムは、その安定性と深層強化学習における高サンプリング効率で知られている。しかし、SACにおけるサンプルアクションに適用されるタン変換は、最も起こりうるアクションの選択を妨げる作用分布を歪ませる。本稿では,変換された分布内の最も可能性の高い動作を直接同定し,選択し,この問題に対処する新しいアクションサンプリング手法を提案する。標準連続制御ベンチマークの大規模な実験により,提案手法はSACの性能を著しく向上させ,より高速な収束と累積報酬をもたらすことを示した。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
論文参考訳（メタデータ） (2024-10-02T18:17:54Z)
A Batch Sequential Halving Algorithm without Performance Degradation [0.8283940114367677]
簡単な逐次バッチアルゴリズムでは,実運用環境での性能が劣化しないことを示す。実験により,固定サイズバッチ設定におけるアルゴリズムの頑健な性質を実証し,我々の主張を実証的に検証する。
論文参考訳（メタデータ） (2024-06-01T12:41:50Z)
Policy Gradient with Active Importance Sampling [55.112959067035916]
政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
論文参考訳（メタデータ） (2024-05-09T09:08:09Z)
TS-RSR: A provably efficient approach for batch bayesian optimization [4.622871908358325]
本稿では,Phompson Smpling-Regret to Sigma Ratio Direct sampleという,バッチベイズ最適化(BO)の新しい手法を提案する。我々のサンプリング目的は、各バッチで選択されたアクションを、ポイント間の冗長性を最小化する方法で調整することができる。提案手法は, 難解な合成および現実的なテスト機能において, 最先端の性能を達成できることを実証する。
論文参考訳（メタデータ） (2024-03-07T18:58:26Z)
Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement Learning Using Unique Experiences [8.983448736644382]
リプレイバッファの効率的な利用は、非政治アクター-犯罪強化学習(RL)アルゴリズムにおいて重要な役割を担っている。本稿では,ユニークなサンプルを選択してリプレイバッファに追加することに焦点を当てた,サンプル効率を実現する手法を提案する。
論文参考訳（メタデータ） (2024-02-05T10:04:00Z)
Anti-Exploration by Random Network Distillation [63.04360288089277]
ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。 D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
論文参考訳（メタデータ） (2023-01-31T13:18:33Z)
An Efficient Algorithm for Deep Stochastic Contextual Bandits [10.298368632706817]
コンテキスト境界の問題では、エージェントは特定の観察されたコンテキストに基づいてアクションを選択し、反復よりも報酬を最大化します。近年、ディープニューラルネットワーク(DNN)を用いて行動に対する期待される報酬を予測する研究がいくつか行われ、勾配に基づく手法で訓練されている。
論文参考訳（メタデータ） (2021-04-12T16:34:43Z)
Stochastic Reweighted Gradient Descent [4.355567556995855]
SRG(stochastic reweighted gradient)と呼ばれる重要サンプリングに基づくアルゴリズムを提案する。我々は、提案手法の時間とメモリオーバーヘッドに特に注意を払っています。我々はこの発見を裏付ける実験結果を示す。
論文参考訳（メタデータ） (2021-03-23T04:09:43Z)
Robust Sampling in Deep Learning [62.997667081978825]
ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
論文参考訳（メタデータ） (2020-06-04T09:46:52Z)
Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。