論文の概要: Application of linear regression and quasi-Newton methods to the deep reinforcement learning in continuous action cases

• arxiv url: http://arxiv.org/abs/2503.14976v3
• Date: Fri, 25 Apr 2025 14:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 18:47:07.477539
• Title: Application of linear regression and quasi-Newton methods to the deep reinforcement learning in continuous action cases
• Title（参考訳）: 線形回帰法と準ニュートン法の連続行動における深部強化学習への応用
• Authors: Hisato Komatsu,
• Abstract要約: LeineらによりLast Squares Deep Q Network (LS-DQN)法が提案された。 本稿では,この制限に対応するために,Double Least Squares Deep Deterministic Policy Gradient (DLS-DDPG)法を提案する。 MuJoCo 環境で行った数値実験により,提案手法は少なくともいくつかのタスクにおいて性能を向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The linear regression (LR) method offers the advantage that optimal parameters can be calculated relatively easily, although its representation capability is limited than that of the deep learning technique. To improve deep reinforcement learning, the Least Squares Deep Q Network (LS-DQN) method was proposed by Levine et al., which combines Deep Q Network (DQN) with LR method. However, the LS-DQN method assumes that the actions are discrete. In this study, we propose the Double Least Squares Deep Deterministic Policy Gradient (DLS-DDPG) method to address this limitation. This method combines the LR method with the Deep Deterministic Policy Gradient (DDPG) technique, one of the representative deep reinforcement learning algorithms for continuous action cases. For the LR update of the critic network, DLS-DDPG uses an algorithm similar to the Fitted Q iteration, the method which LS-DQN adopted. In addition, we calculated the optimal action using the quasi-Newton method and used it as both the agent's action and the training data for the LR update of the actor network. Numerical experiments conducted in MuJoCo environments showed that the proposed method improved performance at least in some tasks, although there are difficulties such as the inability to make the regularization terms small.
• Abstract（参考訳）: 線形回帰(LR)法は,その表現能力は深層学習法よりも限られているが,最適パラメータを比較的容易に計算できるという利点がある。 深部強化学習を改善するため,LevineらによりLast Squares Deep Q Network (LS-DQN)法が提案され,DQN法とLR法を組み合わせた。 しかし、LS-DQN法は作用が離散的であると仮定する。 本研究では,この制限に対応するために,Double Least Squares Deep Deterministic Policy Gradient (DLS-DDPG)法を提案する。 本手法は, LR法とDDPG(Deep Deterministic Policy Gradient)法を組み合わせる。 批評家ネットワークのLR更新では、LS-DQNが採用したFitted Qに類似したアルゴリズムを用いる。 さらに、準ニュートン法を用いて最適な動作を計算し、アクターネットワークのLR更新のためのエージェントの動作とトレーニングデータの両方として使用した。 MuJoCo環境下での数値実験により, 提案手法は少なくともいくつかのタスクにおいて性能を向上するが, 正規化条件を小さくすることは困難であることがわかった。

関連論文リスト

• An Augmented Backward-Corrected Projector Splitting Integrator for Dynamical Low-Rank Training [47.69709732622765]
  必要なQR分解数を削減できる新しい低ランクトレーニング手法を提案する。 提案手法は,プロジェクタ分割方式に拡張ステップを組み込むことにより,局所最適解への収束を確保する。
  論文  参考訳（メタデータ） (2025-02-05T09:03:50Z)
• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Sublinear Regret for a Class of Continuous-Time Linear-Quadratic Reinforcement Learning Problems [10.404992912881601]
  拡散に対する連続時間線形四元数(LQ)制御のクラスに対する強化学習(RL)について検討した。 モデルパラメータの知識にも,その推定にも依存しないモデルフリーアプローチを適用し,RLアルゴリズムを設計して,適切なポリシパラメータを直接学習する。
  論文  参考訳（メタデータ） (2024-07-24T12:26:21Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
  深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。 提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。 数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T04:12:55Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Provably Correct Optimization and Exploration with Non-linear Policies [65.60853260886516]
  ENIACは、批評家の非線形関数近似を可能にするアクター批判手法である。 特定の仮定の下では、学習者は$o(poly(d))$の探索ラウンドで最適に近い方針を見つける。 我々は,この適応を経験的に評価し,線形手法に触発された前処理よりも優れることを示す。
  論文  参考訳（メタデータ） (2021-03-22T03:16:33Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• A Nesterov's Accelerated quasi-Newton method for Global Routing using Deep Reinforcement Learning [0.0]
  本稿では,Nesterovの高速化準ニュートン法を導入することにより,深層Qネットワークのトレーニングを高速化する。 グローバルルーティングのための二重DQNを用いた深層強化学習における提案手法の性能評価を行った。
  論文  参考訳（メタデータ） (2020-10-15T07:30:17Z)
• Responsive Safety in Reinforcement Learning by PID Lagrangian Methods [74.49173841304474]
  ラグランジアン法は振動とオーバーシュートを示し、安全強化学習に適用すると制約違反行動を引き起こす。 制約関数の微分を利用する新しいラグランジュ乗算器更新法を提案する。 我々はPIDラグランジアン法を深部RLに適用し、安全RLベンチマークであるSafety Gymにおける新しい技術状態を設定する。
  論文  参考訳（メタデータ） (2020-07-08T08:43:14Z)
• Gradient Monitored Reinforcement Learning [0.0]
  我々は、強化学習アルゴリズムにおける訓練の強化と評価性能に焦点をあてる。 本稿では,トレーニングプロセス自体からの動的発達とフィードバックに基づいて,ニューラルネットワークの重みパラメータの学習をステアリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T13:45:47Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。