論文の概要: Fluctuations of Nonlinear Observables in Mean Field Neural Network Training
- arxiv url: http://arxiv.org/abs/2610.09768v1
- Date: Wed, 07 Oct 2026 09:51:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.840338
- Title: Fluctuations of Nonlinear Observables in Mean Field Neural Network Training
- Title（参考訳）: 平均場ニューラルネットワークトレーニングにおける非線形可観測物のゆらぎ
- Abstract要約: 勾配降下法により学習したニューラルネットワークに対する有限次元非線形観測値に平均場ゆらぎがどのように伝播するかを示す。
また,選択した観測結果から所定量の興味を回収できるかどうかについても検討した。
- 参考スコア（独自算出の注目度）: 0.9238700679836854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mean field limits describe the training dynamics of wide neural networks through the evolution of the empirical distribution of their parameters. Although functional central limit theorems characterize the asymptotic fluctuations of this distribution, quantities of practical interest are typically nonlinear observables of the parameter distribution rather than the distribution itself. In this work, we show how these mean field fluctuations propagate to finite dimensional nonlinear observables for shallow neural networks trained by stochastic gradient descent. Working in the weighted Sobolev space in which the limiting fluctuation process is constructed, we apply a functional Delta method under ordinary Fr{é}chet differentiability, without requiring Lions derivatives with respect to the measure variable. We obtain a central limit theorem for the observables and, under a suitable representation of their differentials, an explicit covariance formula inherited from the underlying mean field fluctuation theory. We also study whether prescribed quantities of interest can be recovered from the selected observations. Under a constant rank assumption, we prove that a quantity of interest factors locally through the observation functional if and only if, throughout a neighborhood, the kernel of the differential of the observation is contained in that of the quantity of interest. Thus, a differential condition expressed directly in the ambient Sobolev space yields an exact nonlinear local factorization. These results provide a framework both for quantifying finite-width uncertainty on observable, statistically or physically meaningful quantities and for assessing whether the chosen observations contain the information required to identify them.
- Abstract（参考訳）: 平均場制限は、そのパラメータの経験的分布の進化を通じて、広いニューラルネットワークのトレーニングダイナミクスを記述する。
関数中心極限定理は、この分布の漸近的変動を特徴づけるが、実際的な関心の量は通常、分布自体よりもパラメータ分布の非線形観測可能量である。
本研究では,これらの平均場ゆらぎが有限次元非線形観測値に伝播し,確率勾配勾配から学習した浅層ニューラルネットワークについて述べる。
制限変動過程が構築される重み付きソボレフ空間において、測度変数に関してライオンズ微分を必要とせず、通常のFr{é}chet微分可能性の下で函数デルタ法を適用する。
我々は、観測可能量に対する中心極限定理と、それらの微分の適切な表現の下で、基礎となる平均場ゆらぎ理論から引き継がれた明示的な共分散公式を得る。
また,選択した観測結果から所定量の興味を回収できるかどうかについても検討した。
一定のランクの仮定の下では、観測関数を通して局所的に興味因子の量が存在することが証明される: 近傍で、観測の微分の核が興味の量に含まれること。
したがって、周囲のソボレフ空間で直接表現される微分条件は、正確な非線形局所分解をもたらす。
これらの結果は、観測可能な、統計的または物理的に有意な量の有限幅不確実性を定量化し、選択された観測結果がそれらを特定するために必要な情報を含んでいるかどうかを評価するためのフレームワークを提供する。
関連論文リスト
- Zero Flux: Flow-Based Comparison of High-Dimensional Discrete Distributions [47.04254380987003]
局所確率フラックスに基づく誤差であるemphZero Flux criterionを導入する。
独立結合の下では、2つの分布が同じである場合に限り、すべての局所確率フラックスが中間点で消えることが示される。
この不一致は、結合分布の違いをより小さく局所的な寄与に分解し、試料から効率的に推定できる。
論文 参考訳（メタデータ） (2026-10-01T11:13:49Z) - Hessian Rank Constraint for Learning Structure of Nonlinear Latent Variable Models [47.387003815326324]
非線形の場合の観測データ対数密度のクロスヘシアンから階数に基づく性質が生じることを示す。
我々は、潜伏変数を探索し、マルコフ同値までそれらの因果構造を復元するための純粋な1要素測定設定でHRCをインスタンス化する。
論文 参考訳（メタデータ） (2026-09-21T08:05:06Z) - Conditional Distribution Estimation for Functional Responses with Random Forests [0.0]
機能的結果の条件付き法則を, 実用的非パラメトリックな枠組みで推定し, 評価できることを示す。
本稿では,各条件法則をサンプル関数に対する共依存分布として推定する関数分布ランダム林について紹介する。
これは、実数曲線に結びついた予測サンプルを維持しながら、条件分布の任意の関数の推論をサポートする。
論文 参考訳（メタデータ） (2026-08-08T17:19:20Z) - Sharp Concentration Bounds for Bundle-Valued Statistics on Manifolds [19.099044165107696]
我々は、輸送された経験的手段に対する非漸近的な濃度理論を開発する。
このバイアスを束曲率とループ幾何学を用いて定量化し定量化する。
我々は、重みの下で最適な速度を達成するための頑健な平均中央値推定器を確立する。
論文 参考訳（メタデータ） (2026-07-12T06:11:31Z) - Quantifying Uncertainty In Wide Two-Layer Neural Networks: On The Law Of The Limiting Fluctuation Process [3.0171175820634826]
ニューラルネットワーク予測における不確かさの定量化は、通常のアプリケーションでは大きな問題である。
提案手法では,PDEの分散情報を用いて不確実性を直接評価することにより,コスト削減を図る。
そこで我々は,勾配降下法により訓練された広帯域2層ニューラルネットワークの平均場限界付近のランダムなゆらぎを記述する制限過程の法則について検討した。
論文 参考訳（メタデータ） (2026-06-04T10:25:23Z) - Sub-Ensemble Correlations as a Covariance Geometry [10.879505450964418]
観測可能な相関は、大域的なスピンゆらぎ場を誘導する慣行によって支配される。
拡散緩和Ornstein-Uhlenbeck場によって記述される集合スピンのゆらぎに対して、共分散スペクトルは有界領域における有限なモードのみを許容する。
サブアンサンブル独立の喪失は空間的重複の概念によって定式化される。
論文 参考訳（メタデータ） (2025-12-30T20:14:47Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳（メタデータ） (2020-08-21T18:00:50Z) - Towards a Kernel based Uncertainty Decomposition Framework for Data and
Models [20.348825818435767]
本稿では,データとモデルの両方において予測の不確実性を定量化する新しいフレームワークを提案する。
我々は,このフレームワークを,点予測ニューラルネットワークモデルの予測不確実性定量化のためのサロゲートツールとして応用する。
論文 参考訳（メタデータ） (2020-01-30T18:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。