論文の概要: On the Feature Evolution of Temporal Difference Learning

• arxiv url: http://arxiv.org/abs/2611.04158v1
• Date: Tue, 03 Nov 2026 01:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:29:54.566953
• Title: On the Feature Evolution of Temporal Difference Learning
• Title（参考訳）: 時間差学習の特徴進化について
• Abstract要約: 時間的二次差分法(TD)学習は、進化する値推定によって生成されるブートストラップされたターゲットを用いて神経表現を訓練する。 本稿では,情報的TD更新によってベルマン信号が取得され,有界予測読み出しを許容する表現が得られることを示す。 そして、未完成の学習継続が、既に初期のゼロ・リワード段階への情報的監督を提供できることを確認します。
• 参考スコア（独自算出の注目度）: 41.2597841667643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal-difference (TD) learning trains neural representations using bootstrapped targets generated by evolving value estimates, yet how predictive features emerge and propagate under incomplete neural updates remains poorly understood. We investigate this problem using finite-width two-layer ReLU critics on a constructed family of smooth stochastic horizon-$H$ MDPs with unknown quadratic structure and $d$-dimensional observations. We first show that an informative TD update acquires the quadratic Bellman signal and yields a representation admitting a bounded predictive readout. The simultaneous hidden-weight and head update achieves a strict finite-sample prediction-risk improvement over matched head-only SGD, with a $2(d+1)$-fold larger population quadratic response. We then establish that an imperfect learned continuation can already provide informative supervision to an earlier zero-reward stage. By tracking coupled neural updates with one SGD step per target copy, without requiring intermediate Bellman regressions to be solved, we obtain a uniform prediction-error transient $\exp[-Ω(K/(Hd))]$, up to action-independent shifts and explicit sampling and finite-width errors. On the constructed signed-action MDP family whose total reward is bounded by 1, we show that an exploration-then-commit algorithm can achieve $\widetilde{O}(d^3H^{1/3}T^{2/3})$ regret over $T$ episodes, using $K=\widetilde{O}(Hd)$ global updates. Our analysis connects bootstrapped feature acquisition, concurrent neural refinement, and finite-budget policy performance.
• Abstract（参考訳）: 時間差学習(TD)は、進化する値推定によって生成される自己資本的目標を用いた神経表現を訓練するが、不完全な神経アップデートの下で予測機能がどのように出現し伝播するかは理解されていない。 有限幅の2層ReLU批評家による2次元構造が未知の2次元構造を持つ滑らかな確率的地平線(H$MDP)のファミリについて検討する。 まず、情報的TD更新が二次ベルマン信号を取得し、有界予測読み出しを許容する表現を得ることを示す。 同時に隠れ重みと頭部の更新は、一致した頭部のみのSGDに対して厳密な有限サンプル予測リスクの改善を達成する。 そして、未完成の学習継続が、既に初期のゼロ・リワード段階への情報的監督を提供できることを確認します。 目標コピー毎の1つのSGDステップで結合したニューラル更新を追跡することで、中間ベルマン回帰を解くことなく、一様予測エラー過渡$\exp[-Ω(K/(Hd))]$、アクション非依存のシフト、明示的なサンプリングと有限幅誤差を得る。 総報酬が 1 に制限された構成されたサインアクション MDP ファミリー上では、探索列コミットアルゴリズムが$\widetilde{O}(d^3H^{1/3}T^{2/3})$ を達成できることを示し、$K=\widetilde{O}(Hd)$ グローバル更新を用いて、$T$ のエピソードに対して後悔する。 我々の分析は、自己資金による特徴獲得、同時神経機能強化、および有限予算政策性能を結びつけている。

関連論文リスト

• Exact Compilation and Resource Laws for Hidden Integer Feedback [1.5224436211478214]
  我々は,有理フィードバック機構を予測可能な署名ユニット参加下で研究する。 構造化有限整数行列は誤りや新しいランダム性を改善することを示す。
  論文  参考訳（メタデータ） (2026-10-19T14:01:07Z)
• Prediction Is Not a Sufficient Memory State [0.0]
  全ての現在の予測を再現する記憶は、次の観測から学ぶ方法を忘れていたかもしれない。 我々はこの区別を、正確な累積学習と注意のために特徴づける。
  論文  参考訳（メタデータ） (2026-10-09T17:27:06Z)
• Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD [18.94199732493573]
  人口勾配の流れは、ニューラルネットワークがどのように適応するかを推論するための一般的なツールである。 有限バッチ勾配勾配を誤予測できることが示される。
  論文  参考訳（メタデータ） (2026-10-08T08:22:35Z)
• Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
  ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。 学習がエラー分布の「ハードテール」を小さくすることを示す。
  論文  参考訳（メタデータ） (2026-01-07T10:00:17Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network [20.132432350255087]
  タンジェント降下(GD)によってトレーニングされた過度にパラメータ化されたニューラルネットワークは、任意のトレーニングデータを確実に過度に適合させることができる。 本稿では、過度にパラメータ化されたニューラルネットワークが、ランダムノイズの存在下での真のターゲット関数をいかに回復するかを考察する。
  論文  参考訳（メタデータ） (2020-07-06T01:02:23Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。