論文の概要: Revisiting Discrete Soft Actor-Critic

• arxiv url: http://arxiv.org/abs/2209.10081v4
• Date: Wed, 20 Nov 2024 13:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:11:02.186395
• Title: Revisiting Discrete Soft Actor-Critic
• Title（参考訳）: 離散的アクター批判の再考
• Authors: Haibin Zhou, Tong Wei, Zichuan Lin, junyou li, Junliang Xing, Yuanchun Shi, Li Shen, Chao Yu, Deheng Ye,
• Abstract要約: 本稿では,最新技術強化学習(RL)アルゴリズムであるSoft Actor-Critic(SAC)の適応性について検討する。 エントロピーのペナルティとQクリップを用いたQ-ラーニングを両立させるアルゴリズムであるSDSAC(Stable Discrete SAC)を提案する。
• 参考スコア（独自算出の注目度）: 42.88653969438699
• License:
• Abstract: We study the adaption of Soft Actor-Critic (SAC), which is considered as a state-of-the-art reinforcement learning (RL) algorithm, from continuous action space to discrete action space. We revisit vanilla discrete SAC and provide an in-depth understanding of its Q value underestimation and performance instability issues when applied to discrete settings. We thereby propose Stable Discrete SAC (SDSAC), an algorithm that leverages entropy-penalty and double average Q-learning with Q-clip to address these issues. Extensive experiments on typical benchmarks with discrete action space, including Atari games and a large-scale MOBA game, show the efficacy of our proposed method. Our code is at: https://github.com/coldsummerday/SD-SAC.git.
• Abstract（参考訳）: 本研究では、連続的な行動空間から離散的な行動空間へ、最先端の強化学習(RL)アルゴリズムであるSoft Actor-Critic(SAC)の適応性について検討する。 バニラ離散SACを再検討し、離散設定に適用した場合のQ値の過小評価と性能不安定性の問題を深く理解する。 そこで我々は,この問題に対処するために,Q-clipを用いたエントロピーペナルティと2重平均Q-ラーニングを利用するSDSAC(Stable Discrete SAC)を提案する。 アタリゲームや大規模なMOBAゲームなど、離散的なアクション空間を持つ典型的なベンチマーク実験により、提案手法の有効性が示された。 私たちのコードは以下の通りです。

関連論文リスト

• RLSAC: Reinforcement Learning enhanced Sample Consensus for End-to-End Robust Estimation [74.47709320443998]
  RLSAC(Reinforcement Learning enhanced SAmple Consensus framework for end-to-end robust estimation)を提案する。 RLSACはグラフニューラルネットワークを用いて、データとメモリの特徴の両方を利用して探索方向を案内し、次の最小セットをサンプリングする。 実験の結果, RLSACは特徴から学習し, より優れた仮説を徐々に探求できることがわかった。
  論文  参考訳（メタデータ） (2023-08-10T03:14:19Z)
• Target Entropy Annealing for Discrete Soft Actor-Critic [64.71285903492183]
  SAC(Soft Actor-Critic)は、継続的なアクション設定のための最先端のアルゴリズムである。 SACが離散領域でうまく機能しないことを示す経験的証拠は、直感的ではない。 SACに適用したターゲットエントロピーパラメータのアニール法であるTarget Entropy Scheduled SAC (TES-SAC)を提案する。 我々は,Atari 2600 のゲームと異なる目標エントロピー SAC を比較し,スケジューリングが SAC に与える影響を解析した。
  論文  参考訳（メタデータ） (2021-12-06T08:21:27Z)
• Deep Reinforcement Learning-based UAV Navigation and Control: A Soft Actor-Critic with Hindsight Experience Replay Approach [0.9137554315375919]
  深部強化学習 (DRL) アルゴリズムのクラスとして, 後視体験リプレイ (HER) を用いたSACHER (Software actor-critic, SAC) を提案する。 HERはSACのサンプル効率を向上するため,SACHERはSACよりも高速かつ高精度に最適な結果が得られることを示す。 無人航空機(UAV)の航法・制御問題にSACHERを適用し,SACHERが最適航法経路を生成する。
  論文  参考訳（メタデータ） (2021-06-02T08:30:14Z)
• TASAC: Temporally Abstract Soft Actor-Critic for Continuous Control [28.534585378574143]
  TASACは、ソフトアクタークリティカルフレームワークに閉ループ時間抽象化を組み込んだオフポリシーRLアルゴリズムである。 従来のオフポリシーRLアルゴリズムと比較して2つの利点があります。永続的探索とTD学習のための偏見のないマルチステップQ演算子です。
  論文  参考訳（メタデータ） (2021-04-13T21:24:44Z)
• Predictive Information Accelerates Learning in RL [50.52439807008805]
  我々は、RL環境力学の予測情報の圧縮表現を学習する補助タスクで、画素からSoft Actor-Critic(SAC)エージェントを訓練する。 PI-SACエージェントは、連続制御環境のDM制御スイートからタスクのベースラインに挑戦するよりも、サンプル効率を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T08:14:41Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• RSAC: Regularized Subspace Approximation Classifier for Lightweight Continuous Learning [0.9137554315375922]
  継続的学習は、時々来るデータについて学習を行おうとする。 本研究では,軽量な連続学習を実現するために,新たなトレーニングアルゴリズムである正規化部分空間近似分類器(RSAC)を提案する。 大規模な実験により、RSACは従来の継続的学習よりも効率的であることが示され、様々な実験環境下での作業よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-03T03:38:06Z)
• Band-limited Soft Actor Critic Model [15.11069042369131]
  SAC(Soft Actor Critic)アルゴリズムは複雑なシミュレーション環境において顕著な性能を示す。 我々は、このアイデアをさらに一歩進めて、対象の批判的空間分解能を人工的にバンドリミットする。 線形の場合、閉形式解を導出し、バンドリミットが状態-作用値近似の低周波数成分間の相互依存性を減少させることを示す。
  論文  参考訳（メタデータ） (2020-06-19T22:52:43Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。