論文の概要: Continuous-time Online Learning via Mean-Field Neural Networks: Regret Analysis in Diffusion Environments

• arxiv url: http://arxiv.org/abs/2604.10958v1
• Date: Mon, 13 Apr 2026 03:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.303083
• Title: Continuous-time Online Learning via Mean-Field Neural Networks: Regret Analysis in Diffusion Environments
• Title（参考訳）: 平均場ニューラルネットワークによるオンライン連続学習:拡散環境における回帰分析
• Authors: Erhan Bayraktar, Bingyan Han, Ziqing Zhang,
• Abstract要約: 本研究では、未知の係数を持つ拡散過程によってデータが生成される連続時間オンライン学習について検討する。 我々は、影響データの変化、エントロピー探索、二次正規化を特徴付ける明示的境界を導出する。
• 参考スコア（独自算出の注目度）: 3.2091923314854416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study continuous-time online learning where data are generated by a diffusion process with unknown coefficients. The learner employs a two-layer neural network, continuously updating its parameters in a non-anticipative manner. The mean-field limit of the learning dynamics corresponds to a stochastic Wasserstein gradient flow adapted to the data filtration. We establish regret bounds for both the mean-field limit and finite-particle system. Our analysis leverages the logarithmic Sobolev inequality, Polyak-Lojasiewicz condition, Malliavin calculus, and uniform-in-time propagation of chaos. Under displacement convexity, we obtain a constant static regret bound. In the general non-convex setting, we derive explicit linear regret bounds characterizing the effects of data variation, entropic exploration, and quadratic regularization. Finally, our simulations demonstrate the outperformance of the online approach and the impact of network width and regularization parameters.
• Abstract（参考訳）: 本研究では、未知の係数を持つ拡散過程によってデータが生成される連続時間オンライン学習について検討する。 学習者は2層ニューラルネットワークを使用し、パラメータを予想外の方法で継続的に更新する。 学習力学の平均場限界は、データ濾過に適応した確率的なワッサーシュタイン勾配流に対応する。 平均場極限と有限粒子系の双方に対する後悔境界を確立する。 分析では,対数的ソボレフ不等式,ポリアック・ロジャシエヴィチ条件,マリアビン計算,カオスの時間的一様伝播を利用した。 変位凸性の下では、一定な静止後悔境界が得られる。 一般の非凸設定では、データ変動、エントロピー探索、二次正則化の影響を特徴付ける明示的な線形後悔境界を導出する。 最後に,ネットワーク幅と正規化パラメータの影響をシミュレーションにより検証した。

関連論文リスト

• When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training [58.25341036646294]
  本研究では,再帰性極の学習がデータに有意な利点をもたらしない理由を解析的に検討し,実時間学習シナリオを実証的に提供する。 固定極ネットワークは、トレーニングの複雑さを低減し、オンラインリアルタイムタスクにより適していることを示す。
  論文  参考訳（メタデータ） (2026-02-25T00:15:13Z)
• Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
  本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。 速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
  論文  参考訳（メタデータ） (2025-12-01T05:14:25Z)
• Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime [26.47265060394168]
  本研究では,平均場隠れ型ニューラルネットワークの学習方法の収束について検討する。 本研究では,教師の特徴分布の抽出に有効な収束率を実現する戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-25T09:40:10Z)
• Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
  我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。 ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
  論文  参考訳（メタデータ） (2023-09-03T16:35:59Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。