論文の概要: Bridging Neural Tangent Kernel Analysis and Reinforcement Learning for Deep Function Approximation

• arxiv url: http://arxiv.org/abs/2611.03435v1
• Date: Mon, 02 Nov 2026 16:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:34:22.626283
• Title: Bridging Neural Tangent Kernel Analysis and Reinforcement Learning for Deep Function Approximation
• Title（参考訳）: 深部関数近似のためのブリッジングニューラルネットワークカーネル解析と強化学習
• Abstract要約: ニューラルネットワーク(NTK)は、無限に広いニューラルネットワークの学習力学の解析的特徴を提供する。 NTKフレームワークを時間差(TD)フローの定式化を導入して強化学習(RL)に拡張する。 提案したRLに基づくNTK定式化は,トレーニングデータ分布の分布変化に適応し,効率よく学習されていることを示す。
• 参考スコア（独自算出の注目度）: 14.953877391067893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their widespread success across machine learning, the learning dynamics and generalization properties of neural networks remain poorly understood. The neural tangent kernel (NTK) provides an analytical characterization of the learning dynamics of infinitely wide neural networks and serves as a useful proxy for finite-width networks in supervised learning. In this work, we extend the NTK framework to reinforcement learning (RL) by introducing a temporal-difference (TD) flow formulation that accommodates time-varying mini-batches and TD targets, yielding a closed-form solution for value function evolution in an overparametrized setting. We also devise an optimization-based state-space exploration method that leverages the closed-form solution, coupled with constraints on the environment, to model the set of feasible states. On a deterministic grid environment, we validate that the proposed RL-based NTK formulation is indeed learning efficiently and adapting to the distribution shift in the training data distribution, and we demonstrate that the resulting exploration strategy improves sample efficiency. To our knowledge, this is the first work to extend NTK theory to characterize the learning dynamics of RL training with time-varying mini-batches and TD updates.
• Abstract（参考訳）: 機械学習で広く成功したにもかかわらず、ニューラルネットワークの学習力学と一般化特性はいまだに理解されていない。 ニューラルタンジェントカーネル(NTK)は、無限に広いニューラルネットワークの学習力学の解析的特徴を提供し、教師付き学習において有限幅ネットワークの有用なプロキシとして機能する。 本研究では、NTKフレームワークを時間変化小バッチとTDターゲットに対応する時間差フロー定式化(TD)を導入して強化学習(RL)に拡張し、過度なパラメータ化環境で値関数の進化のための閉形式解を得る。 また, 実測可能な状態の集合をモデル化するために, 閉形式解と環境制約を併用した最適化に基づく状態空間探索手法を考案した。 決定論的グリッド環境において,提案したRLに基づくNTK定式化が,トレーニングデータ分布の分布変化に適応し,効果的に学習されていることを検証し,その結果の探索戦略がサンプル効率を向上させることを示す。 我々の知る限り、これはNTK理論を拡張して、時間変化のミニバッチとTD更新によるRLトレーニングの学習力学を特徴付ける最初の研究である。

関連論文リスト

• Dynamics and Representation Structure of Local Approximations to Gradient-Based Learning in Linear Recurrent Neural Networks [56.42974363744522]
  ランダム・フィードバック・ローカル・オンライン(RFLO)の学習動態と時間による逆伝播(tBPTT)について検討する。 我々の研究は、局所性制約が学習力学をどう形成するかに関する分析的な洞察を提供し、学習の神経科学的モデルやRNNの代替最適化アプローチに影響を及ぼす。
  論文  参考訳（メタデータ） (2026-05-29T18:19:45Z)
• Leveraging chaos in the training of artificial neural networks [3.379574469735166]
  従来とは違って大きな学習率のトレーニングに沿って、ニューラルネットワークの軌道のダイナミクスを探求する。 学習率の値の領域において、GD最適化は純粋に活用可能なアルゴリズムから探索・探索バランスの体制へと移行することを示す。
  論文  参考訳（メタデータ） (2025-06-10T07:41:58Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
  本稿では,分散勾配降下法(DGD)アルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を明示的に評価する。 この結果は,最近のニューラルネットワークカーネル(NTK)理論と,分散学習とコンセンサスタスクに関する広範な研究の両面を生かしている。
  論文  参考訳（メタデータ） (2024-09-23T17:57:58Z)
• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。 我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。