論文の概要: Quantifying Uncertainty In Wide Two-Layer Neural Networks: On The Law Of The Limiting Fluctuation Process
- arxiv url: http://arxiv.org/abs/2606.05982v1
- Date: Thu, 04 Jun 2026 10:25:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-06 06:55:34.651106
- Title: Quantifying Uncertainty In Wide Two-Layer Neural Networks: On The Law Of The Limiting Fluctuation Process
- Title（参考訳）: 広帯域2層ニューラルネットワークにおける不確かさの定量化:限界変動過程の法則に基づく
- Authors: Arnaud Descours, Arnaud Guillin, Geoffrey Lacour, Manon Michel, Boris Nectoux, Paul Stos,
- Abstract要約: ニューラルネットワーク予測における不確かさの定量化は、通常のアプリケーションでは大きな問題である。
提案手法では,PDEの分散情報を用いて不確実性を直接評価することにより,コスト削減を図る。
そこで我々は,勾配降下法により訓練された広帯域2層ニューラルネットワークの平均場限界付近のランダムなゆらぎを記述する制限過程の法則について検討した。
- 参考スコア（独自算出の注目度）: 3.0171175820634826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification in neural networks prediction is a main issue for usual applications. Our approach seeks at reducing computation costs by directly evaluating uncertainty using PDE's information on the asymptotic variance, rather than the deep ensemble method which may be seen as a Monte Carlo estimation of the prediction, requiring the training of multiple networks. We thus study the law of the limiting process describing the random fluctuations around the mean-field limit of wide two-layer neural networks trained by stochastic gradient descent in a weak-noise regime. Building on a recent trajectorial central limit theorem, in which this limit is characterized as the weak solution of a linear stochastic evolution equation, we identify its law explicitly. More precisely, we show that it is a centered Gaussian process in the dual of a weighted Sobolev space, and we derive a closed covariance representation for the finite-dimensional distributions obtained by testing it against smooth functions. This covariance is expressed through the solution of a backward transport equation with a nonlocal source term, whose coefficients are driven by the mean-field trajectory. As a consequence, by testing against the activation function at a fixed input, we obtain an expression for the limiting variance of the corresponding network-output fluctuations. We illustrate this result numerically on a one-dimensional regression example.
- Abstract（参考訳）: ニューラルネットワーク予測における不確かさの定量化は、通常のアプリケーションでは大きな問題である。
提案手法は, モンテカルロによる予測の深層アンサンブル法ではなく, PDE の漸近的分散情報を用いた不確かさを直接評価することにより, 計算コストの低減を図っている。
そこで我々は,弱雑音下での確率勾配降下により訓練された広帯域2層ニューラルネットワークの平均場限界付近のランダムな変動を記述する制限過程の法則について検討した。
この極限は線形確率進化方程式の弱解として特徴づけられる最近の軌道中心極限定理に基づいており、その法則を明示的に同定する。
より正確には、これは重み付きソボレフ空間の双対における中心ガウス過程であり、滑らかな函数に対してそれをテストすることによって得られる有限次元分布に対する閉共分散表現を導出する。
この共分散は、係数が平均場軌道によって駆動される非局所的な源項を持つ後方輸送方程式の解によって表される。
その結果、固定入力でのアクティベーション関数に対するテストにより、対応するネットワーク出力変動のばらつきを制限する式が得られる。
この結果を1次元回帰例で数値的に説明する。
関連論文リスト
- Physics-informed neural particle flow for the Bayesian update step [0.8220217498103312]
本稿では,物理インフォームド・ニューラル粒子フローを提案する。
制御偏微分方程式(PDE)を損失関数に埋め込むことで、ニューラルネットワークをトレーニングして輸送速度場を近似する。
ニューラルネットワークのパラメータ化は暗黙の正則化器として機能し,解析フローに固有の剛性を緩和することを示した。
論文 参考訳（メタデータ） (2026-02-26T15:10:45Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - BiLO: Bilevel Local Operator Learning for PDE Inverse Problems. Part II: Efficient Uncertainty Quantification with Low-Rank Adaptation [9.229577043169224]
不確かさの定量化と偏微分方程式(PDE)による逆問題(英語版)は、幅広い科学的・工学的応用の中心である。
本稿では,PDE制約付き最適化問題に対するBilevel Local Operator Learning (BiLO) をベイズ推論フレームワークに拡張する。
論文 参考訳（メタデータ） (2025-07-22T21:20:20Z) - Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime [26.47265060394168]
本研究では,平均場隠れ型ニューラルネットワークの学習方法の収束について検討する。
本研究では,教師の特徴分布の抽出に有効な収束率を実現する戦略を提案する。
論文 参考訳（メタデータ） (2025-04-25T09:40:10Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - An application of the splitting-up method for the computation of a
neural network representation for the solution for the filtering equations [68.8204255655161]
フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。
フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。
我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
論文 参考訳（メタデータ） (2022-01-10T11:01:36Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳（メタデータ） (2020-08-21T18:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。