論文の概要: Stabilizing Temporal Difference Learning via Implicit Stochastic Recursion

• arxiv url: http://arxiv.org/abs/2505.01361v2
• Date: Sun, 22 Jun 2025 22:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:54:00.297181
• Title: Stabilizing Temporal Difference Learning via Implicit Stochastic Recursion
• Title（参考訳）: 確率的再帰による時間差学習の安定化
• Authors: Hwanwoo Kim, Panos Toulis, Eric Laber,
• Abstract要約: 時間差学習は強化学習における基礎的アルゴリズムである 本稿では,TD更新を固定点方程式に変換する暗黙的TDアルゴリズムを提案する。 以上の結果から,暗黙的TDアルゴリズムはより広いステップサイズに適用可能であることが示された。
• 参考スコア（独自算出の注目度）: 2.1301560294088318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal difference (TD) learning is a foundational algorithm in reinforcement learning (RL). For nearly forty years, TD learning has served as a workhorse for applied RL as well as a building block for more complex and specialized algorithms. However, despite its widespread use, TD procedures are generally sensitive to step size specification. A poor choice of step size can dramatically increase variance and slow convergence in both on-policy and off-policy evaluation tasks. In practice, researchers use trial and error to identify stable step sizes, but these approaches tend to be ad hoc and inefficient. As an alternative, we propose implicit TD algorithms that reformulate TD updates into fixed point equations. Such updates are more stable and less sensitive to step size without sacrificing computational efficiency. Moreover, we derive asymptotic convergence guarantees and finite-time error bounds for our proposed implicit TD algorithms, which include implicit TD(0), TD($\lambda$), and TD with gradient correction (TDC). Our results show that implicit TD algorithms are applicable to a much broader range of step sizes, and thus provide a robust and versatile framework for policy evaluation and value approximation in modern RL tasks. We demonstrate these benefits empirically through extensive numerical examples spanning both on-policy and off-policy tasks.
• Abstract（参考訳）: 時間差学習(TD learning)は、強化学習(RL)の基本アルゴリズムである。 約40年間、TD学習は応用RLのためのワークホースとして機能し、より複雑で特殊なアルゴリズムのためのビルディングブロックとして機能してきた。 しかし、広く使われているにもかかわらず、TDプロシージャは一般的にステップサイズ仕様に敏感である。 ステップサイズの不適切な選択は、オン・ポリティクスとオフ・ポリティクス評価の両方において、ばらつきと緩やかな収束を劇的に増加させる可能性がある。 実際には、研究者は試行錯誤を使って安定したステップサイズを特定するが、これらのアプローチはアドホックで非効率な傾向がある。 代替として、TD更新を固定点方程式に変換する暗黙のTDアルゴリズムを提案する。 このような更新はより安定しており、計算効率を犠牲にすることなくステップサイズに敏感である。 さらに、暗黙的TD(0)、TD($\lambda$)、TD(TDC)を含む暗黙的TDアルゴリズムに対して、漸近収束保証と有限時間誤差境界を導出する。 これらの結果から, 暗黙的TDアルゴリズムはより幅広いステップサイズに適用可能であり, 現代のRLタスクにおけるポリシー評価と価値近似のための堅牢で汎用的なフレームワークを提供する。 これらの利点を実証的に実証し、実効性と非実効性の両方にまたがる広範な数値例を示す。

関連論文リスト

• Backstepping Temporal Difference Learning [6.663174194579773]
  政治外TD学習のための新しい収束アルゴリズムを提案する。 本手法は非線形制御理論において広く用いられているバックステッピング法に依存する。 提案アルゴリズムの収束性は、標準のTD学習が不安定であることが知られている環境で実験的に検証される。
  論文  参考訳（メタデータ） (2023-02-20T10:06:49Z)
• Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation [2.28438857884398]
  連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。 本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。 提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
  論文  参考訳（メタデータ） (2022-10-03T04:57:05Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Predictor-Corrector(PC) Temporal Difference(TD) Learning (PCTD) [0.0]
  Predictor-Corrector Temporal difference (PCTD) は、私が離散時間 ODE の理論から翻訳時間 Reinforcement (RL) アルゴリズムと呼ぶものです。 私は新しいタイプのtd学習アルゴリズムを提案する。 近似されるパラメータは、ODEに対する解のTaylor Seriesエラーのマグニチュード低減の保証された順序を有する。
  論文  参考訳（メタデータ） (2021-04-15T18:54:16Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning [9.359939442911127]
  本稿ではマルコフ雑音下での変分不等式(VI)のリセットに着目する。 我々のアルゴリズム開発における顕著な応用は、強化学習における政策評価問題である。
  論文  参考訳（メタデータ） (2020-11-15T04:05:22Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。