論文の概要: Central Limit Theorem for Bayesian Neural Network trained with Variational Inference

• arxiv url: http://arxiv.org/abs/2406.09048v1
• Date: Mon, 10 Jun 2024 11:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 18:05:18.588463
• Title: Central Limit Theorem for Bayesian Neural Network trained with Variational Inference
• Title（参考訳）: 変分推論によるベイズニューラルネットワークの中枢限界理論
• Authors: Arnaud Descours, Tom Huix, Arnaud Guillin, Manon Michel, Éric Moulines, Boris Nectoux,
• Abstract要約: 我々は,無限幅のベイズ型2層ニューラルネットワークに対する中央極限定理(CLT)を導出し,回帰タスクの変分推論により学習する。 CLT を導出することにより、理想化されたベイズ・バイ・バックプロップスキームは、ミニマル VI と異なる、同様のゆらぎ挙動を持つことを示す。
• 参考スコア（独自算出の注目度）: 0.32985979395737786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we rigorously derive Central Limit Theorems (CLT) for Bayesian two-layerneural networks in the infinite-width limit and trained by variational inference on a regression task. The different networks are trained via different maximization schemes of the regularized evidence lower bound: (i) the idealized case with exact estimation of a multiple Gaussian integral from the reparametrization trick, (ii) a minibatch scheme using Monte Carlo sampling, commonly known as Bayes-by-Backprop, and (iii) a computationally cheaper algorithm named Minimal VI. The latter was recently introduced by leveraging the information obtained at the level of the mean-field limit. Laws of large numbers are already rigorously proven for the three schemes that admits the same asymptotic limit. By deriving CLT, this work shows that the idealized and Bayes-by-Backprop schemes have similar fluctuation behavior, that is different from the Minimal VI one. Numerical experiments then illustrate that the Minimal VI scheme is still more efficient, in spite of bigger variances, thanks to its important gain in computational complexity.
• Abstract（参考訳）: 本稿では,無限幅のベイズ型2層ニューラルネットワークに対する中央極限定理(CLT)を厳格に導出し,回帰タスクの変分推論により学習する。 異なるネットワークは、正規化されたエビデンスの下限の異なる最大化スキームによって訓練される。 i) 再パラメータ化トリックから多重ガウス積分を正確に推定した理想化されたケース。 (二)モンテカルロサンプリング(通称ベイズ・バイ・バックプロップ)を用いたミニバッチ方式 (iii)ミニマルVIという計算コストの低いアルゴリズム。 後者は、平均フィールド限界のレベルで得られた情報を活用することで最近導入された。 大数の法則は、同じ漸近極限を持つ3つのスキームに対して、既に厳密に証明されている。 CLTを導出することにより、理想化およびベイズ・バイ・バックプロップスキームは、ミニマル VI と異なる、同様のゆらぎ挙動を持つことを示す。 数値実験により、より大きな分散にもかかわらず、最小の VI スキームは依然としてより効率的であることが示される。

関連論文リスト

• Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows [10.153270126742369]
  正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。 具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
  論文  参考訳（メタデータ） (2024-06-25T04:07:22Z)
• Variational Density Propagation Continual Learning [0.0]
  現実世界にデプロイされるディープニューラルネットワーク(DNN)は、定期的にオフ・オブ・ディストリビューション(OoD)データの対象となっている。 本稿では,ベンチマーク連続学習データセットによってモデル化されたデータ分散ドリフトに適応するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-22T21:51:39Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Law of Large Numbers for Bayesian two-layer Neural Network trained with Variational Inference [0.0]
  ベイズニューラルネットワークの変分推論(VI)によるトレーニングの厳密な分析を行う。 3つの異なるトレーニングスキームに対して、多数の法則を証明します。 重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。
  論文  参考訳（メタデータ） (2023-07-10T07:50:09Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。