論文の概要: On the Convergence of Semi-Gradient TD: A Mean Field Perspective

• arxiv url: http://arxiv.org/abs/2610.20014v1
• Date: Wed, 14 Oct 2026 11:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.123891
• Title: On the Convergence of Semi-Gradient TD: A Mean Field Perspective
• Title（参考訳）: 半勾配TDの収束性について:平均場視点
• Abstract要約: 関数近似によるブートストラップは一般に非保守ベクトル場を誘導し、不安定になる可能性がある。 運動するブートストラップターゲットの感度を,エントロピー刺激による緩和が支配する単純な安定性機構を同定した。 また,この機構は,ソフトQ-ラーニングを通じて,エントロピー規則化されたオフ政治制御にまで拡張されることを示す。
• 参考スコア（独自算出の注目度）: 32.535995469237015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-gradient temporal-difference learning is a core algorithmic component of reinforcement learning, but bootstrapping with function approximation generally induces a non-conservative vector field and can lead to instability. We analyze this effect for two-layer neural networks in the mean-field regime and identify a simple stability mechanism in which entropy-induced relaxation dominates the sensitivity of the moving bootstrap target. Under this condition, we prove exponential convergence to a unique fixed point and quantify its bias relative to the unregularized Bellman solution. We also show that the same mechanism extends to entropy-regularized off-policy control through soft Q-learning.
• Abstract（参考訳）: 半段階的時間差学習は強化学習の中核的なアルゴリズム要素であるが、関数近似によるブートストラップは一般に非保守ベクトル場を誘導し、不安定を引き起こす。 平均場状態における2層ニューラルネットワークに対するこの効果を解析し、エントロピーによる緩和が移動ブートストラップターゲットの感度を左右する単純な安定性機構を同定する。 この条件下では、一意の固定点への指数収束を証明し、非正規化ベルマン解に対してそのバイアスを定量化する。 また,この機構は,ソフトQ-ラーニングを通じて,エントロピー規則化されたオフ政治制御にまで拡張されることを示す。

関連論文リスト

• Characterization of Thermalization Behaviour in a Generalized Aubry-André Model [0.0]
  相互作用するスピンレスフェルミオンを用いた一般化オーブリー・アンドレモデルにおけるエルゴード-マニーボディの局在遷移について検討する。 システムサイズに対する臨界乱れ強度の安定性を調べるために,不偏の有限サイズスケーリング解析を行う。
  論文  参考訳（メタデータ） (2026-04-28T16:23:48Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
  我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。 そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T22:28:34Z)
• Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime [26.47265060394168]
  本研究では,平均場隠れ型ニューラルネットワークの学習方法の収束について検討する。 本研究では,教師の特徴分布の抽出に有効な収束率を実現する戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-25T09:40:10Z)
• Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
  ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:59:57Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Equivalence between algorithmic instability and transition to replica symmetry breaking in perceptron learning systems [16.065867388984078]
  バイナリパーセプトロンは非アルゴリズム最適化のための教師あり学習のモデルである。 レプリカサドル点を破る不安定性は自由エネルギー関数と同一であることを示す。
  論文  参考訳（メタデータ） (2021-11-26T03:23:18Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。