論文の概要: Exact closed-form Gaussian moments of residual layers
- arxiv url: http://arxiv.org/abs/2601.22307v1
- Date: Thu, 29 Jan 2026 20:47:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.055064
- Title: Exact closed-form Gaussian moments of residual layers
- Title（参考訳）: 残留層の厳密閉形式ガウスモーメント
- Authors: Simon Kuang, Xinfan Lin,
- Abstract要約: 本研究では,モンテカルロの基底的真理からKLの偏差を,最先端の決定論的推論法により100倍に改善することを示す。
また、最近注目されているフィードフォワードニューロンの事前誤差境界と予備解析も与えている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study the problem of propagating the mean and covariance of a general multivariate Gaussian distribution through a deep (residual) neural network using layer-by-layer moment matching. We close a longstanding gap by deriving exact moment matching for the probit, GeLU, ReLU (as a limit of GeLU), Heaviside (as a limit of probit), and sine activation functions; for both feedforward and generalized residual layers. On random networks, we find orders-of-magnitude improvements in the KL divergence error metric, up to a millionfold, over popular alternatives. On real data, we find competitive statistical calibration for inference under epistemic uncertainty in the input. On a variational Bayes network, we show that our method attains hundredfold improvements in KL divergence from Monte Carlo ground truth over a state-of-the-art deterministic inference method. We also give an a priori error bound and a preliminary analysis of stochastic feedforward neurons, which have recently attracted general interest.
- Abstract（参考訳）: 本研究では,多変量ガウス分布の平均と共分散を,層間モーメントマッチングを用いたディープ(残留)ニューラルネットワークを用いて伝搬する問題について検討する。
我々は、プロビット、GeLU、ReLU(GeLUの極限として)、Heaviside(プロビットの極限として)および正弦活性化関数に対する正確なモーメントマッチングを導出することにより、長年のギャップを閉じる。
ランダムネットワークでは、KLの発散誤差測定において、一般的な代替よりも最大100万倍のオーダー・オブ・マグニチュードが改善されている。
実データでは,入力の不確実性の下での推論の競合統計的キャリブレーションを求める。
変分ベイズネットワークにおいて,本手法はモンテカルロの基底的真理からのKLの偏差を,最先端の決定論的推論法よりも100倍に改善することを示す。
また,最近注目されている確率的フィードフォワードニューロンの事前誤差境界と予備解析も与えている。
関連論文リスト
- Minimax Optimal Two-Stage Algorithm For Moment Estimation Under Covariate Shift [10.35788775775647]
ソースとターゲットの分布が分かっている場合,問題の最小境界について検討する。
具体的には、まず、ソース分布の下で関数の最適推定器を訓練し、その後、モーメント推定器を校正する確率比再重み付け手順を使用する。
この問題を解決するために、二重ロバスト性を確保し、対応する上界を与える推定器の切り離されたバージョンを提案する。
論文 参考訳（メタデータ） (2025-06-30T01:32:36Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Law of Large Numbers for Bayesian two-layer Neural Network trained with
Variational Inference [0.0]
ベイズニューラルネットワークの変分推論(VI)によるトレーニングの厳密な分析を行う。
3つの異なるトレーニングスキームに対して、多数の法則を証明します。
重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。
論文 参考訳（メタデータ） (2023-07-10T07:50:09Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。