論文の概要: PID Accelerated Temporal Difference Algorithms

• arxiv url: http://arxiv.org/abs/2407.08803v2
• Date: Tue, 3 Sep 2024 16:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 17:21:21.149795
• Title: PID Accelerated Temporal Difference Algorithms
• Title（参考訳）: PID加速時間差アルゴリズム
• Authors: Mark Bedaywi, Amin Rakhsha, Amir-massoud Farahmand,
• Abstract要約: 価値反復(Value Iteration)や時間差分(TD)学習(TD)学習(TD)のようなアルゴリズムは、収束速度が遅く、これらのタスクでは非効率になる。 PID VIは、制御理論のアイデアを用いた価値反復の収束を加速するために最近導入された。 我々は,従来のTD学習と比較して,PID TD学習の収束とその加速に関する理論的解析を行う。
• 参考スコア（独自算出の注目度）: 7.634360142922117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon tasks, which have a large discount factor, pose a challenge for most conventional reinforcement learning (RL) algorithms. Algorithms such as Value Iteration and Temporal Difference (TD) learning have a slow convergence rate and become inefficient in these tasks. When the transition distributions are given, PID VI was recently introduced to accelerate the convergence of Value Iteration using ideas from control theory. Inspired by this, we introduce PID TD Learning and PID Q-Learning algorithms for the RL setting, in which only samples from the environment are available. We give a theoretical analysis of the convergence of PID TD Learning and its acceleration compared to the conventional TD Learning. We also introduce a method for adapting PID gains in the presence of noise and empirically verify its effectiveness.
• Abstract（参考訳）: 長い水平タスクは大きな割引係数を持ち、従来の強化学習(RL)アルゴリズムでは困難である。 価値反復(Value Iteration)や時間差分(TD)学習(TD)学習(TD)のようなアルゴリズムは、収束速度が遅く、これらのタスクでは非効率になる。 遷移分布が与えられると、PID VIが最近導入され、制御理論のアイデアを用いて価値反復の収束を加速した。 そこで本研究では,RL設定のためのPID TD LearningとPID Q-Learningアルゴリズムを導入する。 我々は,従来のTD学習と比較して,PID TD学習の収束とその加速に関する理論的解析を行う。 また、雑音の存在下でPIDゲインを適応させる手法を導入し、その効果を実証的に検証する。

関連論文リスト

• Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality [0.7421845364041001]
  本研究は,流路制御のための深部強化学習法(DRL)の進歩である。 グループ不変ネットワークと位置エンコーディングをDRLアーキテクチャに統合することに注力する。 提案手法はRayleigh-B'enard対流のケーススタディを用いて検証した。
  論文  参考訳（メタデータ） (2024-07-25T07:24:41Z)
• Variational Delayed Policy Optimization [25.668512485348952]
  遅延観測環境においては、遅延ウィンドウ内での動作を含む状態拡張を採用してマルコフ特性を検索し、強化学習(RL)を可能にする。 時間差学習フレームワークを用いたSOTA(State-of-the-art)RL技術は、遅延を伴う拡張状態空間の大幅な拡張により、学習の非効率性に悩まされることが多い。 本稿では、遅延RLを変分推論問題として再構成する、変分遅延ポリシー最適化(VDPO)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-23T06:57:04Z)
• Backstepping Temporal Difference Learning [3.5823366350053325]
  政治外TD学習のための新しい収束アルゴリズムを提案する。 本手法は非線形制御理論において広く用いられているバックステッピング法に依存する。 提案アルゴリズムの収束性は、標準のTD学習が不安定であることが知られている環境で実験的に検証される。
  論文  参考訳（メタデータ） (2023-02-20T10:06:49Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Towards Understanding Label Smoothing [36.54164997035046]
  ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。 適切なLSRが分散を減少させることで収束を加速することを示す。 本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
  論文  参考訳（メタデータ） (2020-06-20T20:36:17Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。