論文の概要: Law of Large Numbers for Bayesian two-layer Neural Network trained with Variational Inference

• arxiv url: http://arxiv.org/abs/2307.04779v1
• Date: Mon, 10 Jul 2023 07:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:30:14.226084
• Title: Law of Large Numbers for Bayesian two-layer Neural Network trained with Variational Inference
• Title（参考訳）: 変分推論により学習したベイズ二層ニューラルネットワークに対する大数の法則
• Authors: Arnaud Descours (LMBP), Tom Huix (X), Arnaud Guillin (LMBP), Manon Michel (LMBP), \'Eric Moulines (X), Boris Nectoux (LMBP)
• Abstract要約: ベイズニューラルネットワークの変分推論(VI)によるトレーニングの厳密な分析を行う。 3つの異なるトレーニングスキームに対して、多数の法則を証明します。 重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide a rigorous analysis of training by variational inference (VI) of Bayesian neural networks in the two-layer and infinite-width case. We consider a regression problem with a regularized evidence lower bound (ELBO) which is decomposed into the expected log-likelihood of the data and the Kullback-Leibler (KL) divergence between the a priori distribution and the variational posterior. With an appropriate weighting of the KL, we prove a law of large numbers for three different training schemes: (i) the idealized case with exact estimation of a multiple Gaussian integral from the reparametrization trick, (ii) a minibatch scheme using Monte Carlo sampling, commonly known as Bayes by Backprop, and (iii) a new and computationally cheaper algorithm which we introduce as Minimal VI. An important result is that all methods converge to the same mean-field limit. Finally, we illustrate our results numerically and discuss the need for the derivation of a central limit theorem.
• Abstract（参考訳）: 2層および無限幅の場合におけるベイズニューラルネットワークの変分推論(vi)によるトレーニングの厳密な解析を行う。 正規化エビデンスローバウンド(ELBO)を用いた回帰問題について検討し,データから期待されるログに分解し,プリオリ分布と変分後部とのKL(Kulback-Leibler)のばらつきについて考察する。 KLの適切な重み付けにより、3つの異なるトレーニングスキームに対して多数の法則が証明される。 (i)再パラメータ化トリックから複数ガウス積分を正確に推定する理想化された場合 (ii)モンテカルロサンプリングを用いたミニバッチ方式、通称ベイズ・バイ・バックプロップ、及び (iii)Minimal VIとして導入した新しい,計算コストの低いアルゴリズム。 重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。 最後に,本研究の結果を数値的に示し,中心極限定理の導出の必要性について考察する。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows [10.153270126742369]
  正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。 具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
  論文  参考訳（メタデータ） (2024-06-25T04:07:22Z)
• Central Limit Theorem for Bayesian Neural Network trained with Variational Inference [0.32985979395737786]
  我々は,無限幅のベイズ型2層ニューラルネットワークに対する中央極限定理(CLT)を導出し,回帰タスクの変分推論により学習する。 CLT を導出することにより、理想化されたベイズ・バイ・バックプロップスキームは、ミニマル VI と異なる、同様のゆらぎ挙動を持つことを示す。
  論文  参考訳（メタデータ） (2024-06-10T11:05:48Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。