論文の概要: Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors

• arxiv url: http://arxiv.org/abs/2603.21921v1
• Date: Mon, 23 Mar 2026 12:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.671434
• Title: Deep Reinforcement Learning and The Tale of Two Temporal Difference Errors
• Title（参考訳）: 深層強化学習と2つの時間差誤差の物語
• Authors: Juan Sebastian Rojas, Chi-Guhn Lee,
• Abstract要約: 時間差(TD)誤差の解釈は必ずしも等価ではないことを示す。 特に,より非線形な深部RLアーキテクチャは,これらのTD誤差の解釈によって,より異なる数値が得られることを示す。
• 参考スコア（独自算出の注目度）: 7.025709586759656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The temporal difference (TD) error was first formalized in Sutton (1988), where it was first characterized as the difference between temporally successive predictions, and later, in that same work, formulated as the difference between a bootstrapped target and a prediction. Since then, these two interpretations of the TD error have been used interchangeably in the literature, with the latter eventually being adopted as the standard critic loss in deep reinforcement learning (RL) architectures. In this work, we show that these two interpretations of the TD error are not always equivalent. In particular, we show that increasingly-nonlinear deep RL architectures can cause these interpretations of the TD error to yield increasingly different numerical values. Then, building on this insight, we show how choosing one interpretation of the TD error over the other can affect the performance of deep RL algorithms that utilize the TD error to compute other quantities, such as with deep differential (i.e., average-reward) RL methods. All in all, our results show that the default interpretation of the TD error as the difference between a bootstrapped target and a prediction does not always hold in deep RL settings.
• Abstract（参考訳）: 時間差(TD)誤差は最初Sutton (1988)で定式化され、最初は時間的に連続する予測の差として特徴づけられ、後に同じ研究でブートストラップされた目標と予測の差として定式化された。 それ以来、これらの2つのTD誤りの解釈は文献で相互に使われ、後者は最終的に深層強化学習(RL)アーキテクチャの標準的な批判的損失として採用された。 本研究では、TD誤差のこの2つの解釈が必ずしも等価であるとは限らないことを示す。 特に、非線形な深層RLアーキテクチャは、これらのTD誤差の解釈によって、徐々に異なる数値が得られることを示す。 そして、この知見に基づいて、TD誤差の1つの解釈が、深い微分(平均逆)RL法などの他の量を計算するために、TDエラーを利用するディープRLアルゴリズムの性能にどのように影響するかを示す。 全体としては、ブートストラップされたターゲットと予測との差として、TDエラーの既定解釈が深いRL設定で常に成り立つとは限らないことを示す。

関連論文リスト

• Temporal Difference Flows [82.24174052059352]
  Geometric Horizon Models (GHMs) は、将来の状態を直接予測することで、魅力的な代替手段を提供する。 既存の手法は、列車時のブートストラップ予測や、長い地平線で高品質な予測を生成するのに苦慮している。 本稿では,従来の手法の水平長の5倍以上の精度で正確なGHMを学習するために,確率経路上の新しいベルマン方程式の構造を利用した時間差流(TD-Flow)を提案する。
  論文  参考訳（メタデータ） (2025-03-12T20:30:07Z)
• Weber-Fechner Law in Temporal Difference learning derived from Control as Inference [10.710674792832354]
  強化学習(RL)における時間差(TD)誤差に基づく新しい非線形更新規則について検討する。 一方、最近の生物学的研究により、TDエラーには非線形性、更新度、偏見、楽観的あるいは悲観的な政策が存在することが明らかになった。 本研究では,更新度とTD誤差の非線形性を利用する理論的枠組みについて検討する。
  論文  参考訳（メタデータ） (2024-12-30T15:13:57Z)
• TD Convergence: An Optimization Perspective [16.12613645083317]
  本稿では,TD学習アルゴリズムの収束挙動について検討する。 この結果から, 強化学習におけるTDの有効利用の理論的説明が得られた。
  論文  参考訳（メタデータ） (2023-06-30T16:01:04Z)
• Finite time analysis of temporal difference learning with linear function approximation: Tail averaging and regularisation [44.27439128304058]
  そこで本研究では,TD学習アルゴリズムの時間的有限性について検討した。 ステップサイズ選択の下で、テール平均TDのパラメータ誤差に基づいて有限時間境界を導出する。
  論文  参考訳（メタデータ） (2022-10-12T04:37:54Z)
• Truncated Emphatic Temporal Difference Methods for Prediction and Control [77.58311033916661]
  強調的テンポラルラーニング(英語: Emphatic Temporal Learning, TD)は、追従トレースの使用を含む非政治強化ラーニング(英語版)(RL)手法のクラスである。 本稿では,強調的TD法において,truncated followingon tracesを用いて3つの問題を同時に解決する。
  論文  参考訳（メタデータ） (2021-08-11T17:26:38Z)
• On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
  Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。 正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。 FIMの2つの等価表現に基づく2つの推定器について検討する。
  論文  参考訳（メタデータ） (2021-07-09T04:46:50Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• Gradient Temporal-Difference Learning with Regularized Corrections [28.087160600706948]
  正規化補正(TDRC)を用いた新しいTD法を提案する。 TDがうまく機能するとTDと同様に振る舞うが、TDが分岐する場合には音が聞こえる。 また,TD法とQ-ラーニング法を併用すれば,TD法とQ-ラーニング法を併用できる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-01T16:56:56Z)
• Reanalysis of Variance Reduced Temporal Difference Learning [57.150444843282]
  Korda と La が提案した分散還元型TD (VRTD) アルゴリズムは,マルコフサンプルを用いたオンラインTD学習に直接適用する。 我々は,VRTDが線形収束速度でTDの固定点解の近傍に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-01-07T05:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。