論文の概要: Flat Seeking Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2302.02713v5
• Date: Mon, 6 Nov 2023 06:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 01:03:00.304807
• Title: Flat Seeking Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークを探索するフラット
• Authors: Van-Anh Nguyen, Tung-Long Vuong, Hoang Phan, Thanh-Toan Do, Dinh Phung, Trung Le
• Abstract要約: 我々は、シャープネスを意識した後部における理論、ベイズ的設定、および変分推論アプローチを開発する。 具体的には、シャープネス認識後部から採取したモデルと、このシャープネス認識後部を推定する最適な近似後部モデルにより、平坦性が向上した。 我々は最先端のベイズニューラルネットワークによるシャープネス認識後部を応用して実験を行う。
• 参考スコア（独自算出の注目度）: 32.61417343756841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Neural Networks (BNNs) provide a probabilistic interpretation for deep learning models by imposing a prior distribution over model parameters and inferring a posterior distribution based on observed data. The model sampled from the posterior distribution can be used for providing ensemble predictions and quantifying prediction uncertainty. It is well-known that deep learning models with lower sharpness have better generalization ability. However, existing posterior inferences are not aware of sharpness/flatness in terms of formulation, possibly leading to high sharpness for the models sampled from them. In this paper, we develop theories, the Bayesian setting, and the variational inference approach for the sharpness-aware posterior. Specifically, the models sampled from our sharpness-aware posterior, and the optimal approximate posterior estimating this sharpness-aware posterior, have better flatness, hence possibly possessing higher generalization ability. We conduct experiments by leveraging the sharpness-aware posterior with state-of-the-art Bayesian Neural Networks, showing that the flat-seeking counterparts outperform their baselines in all metrics of interest.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、モデルパラメータに事前分布を付与し、観測データに基づいて後続分布を推定することにより、ディープラーニングモデルに対する確率論的解釈を提供する。 後方分布からサンプリングされたモデルは、アンサンブル予測と予測の不確かさの定量化に使用できる。 シャープ性の低いディープラーニングモデルの方が一般化能力が高いことはよく知られている。 しかし、既存の後進推論は定式化の観点からはシャープネス/フラットネスを意識していないため、これらのモデルからサンプリングされたモデルの鋭さが高まる可能性がある。 本稿では,ベイズ設定の理論と,シャープネスを意識した後部における変分推論手法を開発する。 特に、鋭さを認識できる後方モデルと、この鋭さを認識できる後方を推定する最適近似モデルでは、より平坦性が向上し、より高い一般化能力を持つ可能性がある。 我々は、最先端のベイジアンニューラルネットワークとシャープネス認識後部を併用して実験を行い、フラットな探索相手が関心のあるすべての指標においてベースラインを上回っていることを示す。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Flat Posterior Does Matter For Bayesian Model Averaging [15.371686185626162]
  この研究では、BNNが平らさを捉えるのにしばしば苦労していることを実証的に示しています。 ニューラル・ダイバージェンス(英語版)を計算することによって平坦な後部を求める小説であるシャープネス・アウェア・ベイズモデル平均化(SA-BMA)を提案する。 本研究は,SA-BMAが数発の分類と分布シフトにおいて一般化性能を向上させる効果を検証した。
  論文  参考訳（メタデータ） (2024-06-21T21:44:27Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
  OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。 入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。 本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
  論文  参考訳（メタデータ） (2022-12-29T11:48:01Z)
• Non-Volatile Memory Accelerated Posterior Estimation [3.4256231429537936]
  現在の機械学習モデルは、予測を行う際に単一の学習可能なパラメータの組み合わせのみを使用する。 高容量永続ストレージを利用することで、後部分布が大きすぎて近似できないモデルが実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T20:25:57Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。