論文の概要: Bayesian Deep Learning and a Probabilistic Perspective of Generalization

• arxiv url: http://arxiv.org/abs/2002.08791v4
• Date: Wed, 30 Mar 2022 17:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 06:49:13.247527
• Title: Bayesian Deep Learning and a Probabilistic Perspective of Generalization
• Title（参考訳）: ベイズ深層学習と一般化の確率論的展望
• Authors: Andrew Gordon Wilson, Pavel Izmailov
• Abstract要約: ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
• 参考スコア（独自算出の注目度）: 56.69671152009899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key distinguishing property of a Bayesian approach is marginalization, rather than using a single setting of weights. Bayesian marginalization can particularly improve the accuracy and calibration of modern deep neural networks, which are typically underspecified by the data, and can represent many compelling but different solutions. We show that deep ensembles provide an effective mechanism for approximate Bayesian marginalization, and propose a related approach that further improves the predictive distribution by marginalizing within basins of attraction, without significant overhead. We also investigate the prior over functions implied by a vague distribution over neural network weights, explaining the generalization properties of such models from a probabilistic perspective. From this perspective, we explain results that have been presented as mysterious and distinct to neural network generalization, such as the ability to fit images with random labels, and show that these results can be reproduced with Gaussian processes. We also show that Bayesian model averaging alleviates double descent, resulting in monotonic performance improvements with increased flexibility. Finally, we provide a Bayesian perspective on tempering for calibrating predictive distributions.
• Abstract（参考訳）: ベイズアプローチの重要な特徴は、単一の重みの集合を使うのではなく、限界化である。 ベイズ辺縁化は、データによって一般に過小評価される現代のディープニューラルネットワークの精度とキャリブレーションを特に改善し、多くの説得力のあるが異なる解を表現できる。 その結果,深層アンサンブルはベイズ辺縁化を近似する効果的なメカニズムを提供し,アトラクション盆地内の辺縁化による予測分布を,大きなオーバーヘッドを伴わずにさらに改善する手法を提案する。 また,ニューラルネットワーク重みに対するあいまいな分布が示唆する先行関数についても検討し,確率論的観点からモデルの一般化性を説明する。 この観点から、画像にランダムなラベルを付ける能力など、ニューラルネットワークの一般化に神秘的かつ異なるものとして提示された結果を説明し、これらの結果がガウス過程で再現可能であることを示す。 また,平均的なベイズモデルが二重降下を緩和し,柔軟性を増すことによって単調性能が向上することを示した。 最後に,予測分布のキャリブレーションに関するベイズ的視点を提供する。

関連論文リスト

• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• Bayesian inference with finitely wide neural networks [0.4568777157687961]
  確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。 ベイズ回帰課題における非ガウス的後部分布を導出できる。
  論文  参考訳（メタデータ） (2023-03-06T03:25:30Z)
• Flat Seeking Bayesian Neural Networks [32.61417343756841]
  我々は、シャープネスを意識した後部における理論、ベイズ的設定、および変分推論アプローチを開発する。 具体的には、シャープネス認識後部から採取したモデルと、このシャープネス認識後部を推定する最適な近似後部モデルにより、平坦性が向上した。 我々は最先端のベイズニューラルネットワークによるシャープネス認識後部を応用して実験を行う。
  論文  参考訳（メタデータ） (2023-02-06T11:40:44Z)
• Robust Gaussian Process Regression with Huber Likelihood [2.7184224088243365]
  本稿では,ハマー確率分布として表される観測データの可能性を考慮した,ガウス過程フレームワークにおけるロバストなプロセスモデルを提案する。 提案モデルでは、予測統計に基づく重みを用いて、残差を拡大し、潜伏関数推定における垂直外れ値と悪レバレッジ点の影響を限定する。
  論文  参考訳（メタデータ） (2023-01-19T02:59:33Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• The Case for Bayesian Deep Learning [41.54360061376725]
  ベイズ的アプローチの鍵となる特徴は、前者やベイズ規則ではなく最適化ではなく、余分化である。 ベイズ深層学習の最近の進歩は、標準訓練と比較して精度と校正性の向上をもたらす。
  論文  参考訳（メタデータ） (2020-01-29T18:08:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。