論文の概要: BALI: Learning Neural Networks via Bayesian Layerwise Inference

• arxiv url: http://arxiv.org/abs/2411.12102v1
• Date: Mon, 18 Nov 2024 22:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:10.202452
• Title: BALI: Learning Neural Networks via Bayesian Layerwise Inference
• Title（参考訳）: BALI:ベイジアン階層推論によるニューラルネットワークの学習
• Authors: Richard Kurle, Alexej Klushyn, Ralf Herbrich,
• Abstract要約: 我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
• 参考スコア（独自算出の注目度）: 6.7819070167076045
• License:
• Abstract: We introduce a new method for learning Bayesian neural networks, treating them as a stack of multivariate Bayesian linear regression models. The main idea is to infer the layerwise posterior exactly if we know the target outputs of each layer. We define these pseudo-targets as the layer outputs from the forward pass, updated by the backpropagated gradients of the objective function. The resulting layerwise posterior is a matrix-normal distribution with a Kronecker-factorized covariance matrix, which can be efficiently inverted. Our method extends to the stochastic mini-batch setting using an exponential moving average over natural-parameter terms, thus gradually forgetting older data. The method converges in few iterations and performs as well as or better than leading Bayesian neural network methods on various regression, classification, and out-of-distribution detection benchmarks.
• Abstract（参考訳）: 我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。 主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。 我々はこれらの擬似ターゲットを、対象関数の逆伝播勾配によって更新された前方通過から出力される層として定義する。 結果は、Kronecker-factorized covariance matrix を持つ行列正規分布であり、効率的に逆転することができる。 提案手法は, 自然パラメータ上での指数移動平均を用いた確率的ミニバッチ設定にまで拡張し, より古いデータを徐々に忘れていく。 この手法は数イテレーションで収束し、様々な回帰、分類、アウト・オブ・ディストリビューション検出ベンチマークにおけるベイズニューラルネットワーク手法よりも優れた性能を発揮する。

関連論文リスト

• Variational Bayesian Last Layers [14.521406172240845]
  ベイズ最後の層ニューラルネットワークをトレーニングするための決定論的変分定式化を導入する。 これによりサンプリング不要の単一パスモデルと損失が得られ、不確実性推定を効果的に改善する。 VBLLを実験的に検討し, 予測精度, キャリブレーション, 分布検出の精度をベースライン上で向上することを示した。
  論文  参考訳（メタデータ） (2024-04-17T17:50:24Z)
• Learning to solve Bayesian inverse problems: An amortized variational inference approach using Gaussian and Flow guides [0.0]
  本研究では,ベイズ逆写像,すなわちデータから後部への写像を学習することで,リアルタイムな推論を可能にする手法を開発する。 我々のアプローチは、ニューラルネットワークの前方通過のコストで、所定の観測のための後部分布を提供する。
  論文  参考訳（メタデータ） (2023-05-31T16:25:07Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Bayesian Neural Network via Stochastic Gradient Descent [0.0]
  本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。 我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
  論文  参考訳（メタデータ） (2020-06-04T18:33:59Z)
• Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes [38.79834570417554]
  ベイズニューラルネットワークのすべての層における重みを近似的に近似的に後向きに展開する。 このアプローチを深いガウス過程に拡張し、2つのモデルクラスにおける推論を統一する。
  論文  参考訳（メタデータ） (2020-05-17T01:10:37Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。