Fugu-MT 論文翻訳(概要): Towards Parameter-Free Temporal Difference Learning

論文の概要: Towards Parameter-Free Temporal Difference Learning

arxiv url: http://arxiv.org/abs/2603.02577v1
Date: Tue, 03 Mar 2026 03:49:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.628483
Title: Towards Parameter-Free Temporal Difference Learning
Title（参考訳）: パラメータ自由時間差学習に向けて
Authors: Yunxiang Li, Mark Schmidt, Reza Babanezhad, Sharan Vaswani,
Abstract要約: 時間差(TD)学習は、強化学習における価値関数を推定するための基本的なアルゴリズムである。線形関数近似を用いたTDの最近の有限時間解析は、その理論収束率を定量化する。指数的なステップサイズスケジュールを持つ正規化TD(0)アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 16.4999522739561
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Temporal difference (TD) learning is a fundamental algorithm for estimating value functions in reinforcement learning. Recent finite-time analyses of TD with linear function approximation quantify its theoretical convergence rate. However, they often require setting the algorithm parameters using problem-dependent quantities that are difficult to estimate in practice -- such as the minimum eigenvalue of the feature covariance ($ω$) or the mixing time of the underlying Markov chain ($τ_{\text{mix}}$). In addition, some analyses rely on nonstandard and impractical modifications, exacerbating the gap between theory and practice. To address these limitations, we use an exponential step-size schedule with the standard TD(0) algorithm. We analyze the resulting method under two sampling regimes: independent and identically distributed (i.i.d.) sampling from the stationary distribution, and the more practical Markovian sampling along a single trajectory. In the i.i.d.\ setting, the proposed algorithm does not require knowledge of problem-dependent quantities such as $ω$, and attains the optimal bias-variance trade-off for the last iterate. In the Markovian setting, we propose a regularized TD(0) algorithm with an exponential step-size schedule. The resulting algorithm achieves a comparable convergence rate to prior works, without requiring projections, iterate averaging, or knowledge of $τ_{\text{mix}}$ or $ω$.
Abstract（参考訳）: 時間差学習(TD)は、強化学習における価値関数を推定するための基本的なアルゴリズムである。線形関数近似を用いたTDの最近の有限時間解析は、その理論収束率を定量化する。しかし、実際には推定が難しい問題依存量(例えば特徴共分散の最小固有値 ($ω$) や、基礎となるマルコフ連鎖 ($τ_{\text{mix}}$) の混合時間など)を用いてアルゴリズムパラメータを設定する必要があることが多い。さらに、いくつかの分析は、理論と実践の間のギャップを悪化させる非標準的および非実用的修正に依存している。これらの制限に対処するために、標準のTD(0)アルゴリズムで指数的なステップサイズスケジュールを使用する。定常分布からの独立分布と同一分布(d.d.)サンプリング,および1つの軌道に沿ったより実用的なマルコフ的サンプリングという2つのサンプリング条件下で得られた手法を解析する。 i.d.\ 設定では、提案アルゴリズムは $ω$ のような問題依存量の知識を必要とせず、最後の繰り返しに対して最適なバイアス分散トレードオフを達成する。マルコフ的設定では、指数的なステップサイズスケジュールを持つ正規化TD(0)アルゴリズムを提案する。結果として得られるアルゴリズムは、投影、反復平均化、あるいは $τ_{\text{mix}}$ あるいは $ω$ の知識を必要とせず、先行する作業に匹敵する収束率を達成する。

関連論文リスト

Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文参考訳（メタデータ） (2025-12-01T05:14:25Z)
Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms [10.022615790746466]
アルゴリズムのサンプルパスとOrnstein-Uhlenbeck近似の非漸近関数近似誤差を導出する。我々は、L'evy-Prokhorov と有界ワッサーシュタイン距離という2つの一般的な測度で誤差境界を構築するために、主要な結果を使用する。
論文参考訳（メタデータ） (2025-01-21T15:29:11Z)
Pathwise optimization for bridge-type estimators and its applications [49.1574468325115]
パスワイズ法は、ペナライズされた推定器の完全な経路を効率的に計算することができる。これらのアルゴリズムを離散時間で観測されたプロセスのペナル化推定に適用する。
論文参考訳（メタデータ） (2024-12-05T10:38:29Z)
A Finite-Sample Analysis of an Actor-Critic Algorithm for Mean-Variance Optimization in a Discounted MDP [1.0923877073891446]
政策評価のために線形関数近似(LFA)を用いた時間差分学習アルゴリズムを解析する。我々は、(i) を平均二乗の意味で保持し、(ii) を尾の反復平均化の下で高い確率で導く有限サンプル境界を導出する。これらの結果は、強化学習におけるリスクに敏感なアクター批判法に対する有限サンプル理論的保証を確立する。
論文参考訳（メタデータ） (2024-06-12T05:49:53Z)
Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both Worlds in Stochastic and Deterministic Environments [48.96971760679639]
マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。モデルに基づく手法では、MVPアルゴリズムの変種を設計する。特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
論文参考訳（メタデータ） (2023-01-31T06:54:06Z)
Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
論文参考訳（メタデータ） (2021-12-24T17:21:04Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Simple and optimal methods for stochastic variational inequalities, II: Markovian noise and policy evaluation in reinforcement learning [9.359939442911127]
本稿ではマルコフ雑音下での変分不等式(VI)のリセットに着目する。我々のアルゴリズム開発における顕著な応用は、強化学習における政策評価問題である。
論文参考訳（メタデータ） (2020-11-15T04:05:22Z)
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis [27.679514676804057]
オフ・ポリシー・セッティングにおける2つの時間スケールTDCアルゴリズムの分散化手法を開発した。実験により,提案した分散還元型TDCは,従来のTDCと分散還元型TDよりも収束誤差が小さいことを示した。
論文参考訳（メタデータ） (2020-10-26T01:33:05Z)
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。本研究の結果は, 同時一次および二重側収束の形で表される。
論文参考訳（メタデータ） (2020-08-23T20:36:49Z)
Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
論文参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。