論文の概要: Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling

• arxiv url: http://arxiv.org/abs/2408.03746v1
• Date: Wed, 7 Aug 2024 12:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 13:04:22.985362
• Title: Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
• Title（参考訳）: 入射前処理と拡散後サンプリングを用いたフレキシブルベイズ最後の層モデル
• Authors: Jian Xu, Zhiqi Lin, Shigui Li, Min Chen, Junmei Yang, Delu Zeng, John Paisley,
• Abstract要約: ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 7.084307990641011
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Last Layer (BLL) models focus solely on uncertainty in the output layer of neural networks, demonstrating comparable performance to more complex Bayesian models. However, the use of Gaussian priors for last layer weights in Bayesian Last Layer (BLL) models limits their expressive capacity when faced with non-Gaussian, outlier-rich, or high-dimensional datasets. To address this shortfall, we introduce a novel approach that combines diffusion techniques and implicit priors for variational learning of Bayesian last layer weights. This method leverages implicit distributions for modeling weight priors in BLL, coupled with diffusion samplers for approximating true posterior predictions, thereby establishing a comprehensive Bayesian prior and posterior estimation strategy. By delivering an explicit and computationally efficient variational lower bound, our method aims to augment the expressive abilities of BLL models, enhancing model accuracy, calibration, and out-of-distribution detection proficiency. Through detailed exploration and experimental validation, We showcase the method's potential for improving predictive accuracy and uncertainty quantification while ensuring computational efficiency.
• Abstract（参考訳）: Bayesian Last Layer (BLL)モデルは、ニューラルネットワークの出力層における不確実性のみに焦点を当て、より複雑なBayesianモデルに匹敵するパフォーマンスを示す。 しかし、ベイジアン・ラスト・レイヤ(BLL)モデルにおける最終層重みに対するガウス先行値の使用は、非ガウス、アウリエリッチ、高次元データセットに直面する際の表現能力を制限する。 この欠点に対処するために、ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しいアプローチを導入する。 本手法は,BLLにおける重み付けのモデル化に暗黙の分布を利用するとともに,拡散サンプリングを併用して真の後方予測を近似し,ベイズ的事前推定と後方推定の総合的戦略を確立する。 本手法は,BLLモデルの表現能力を向上し,モデル精度,キャリブレーション,アウト・オブ・ディストリビューション検出能力を向上させることを目的としている。 詳細な探索と実験的検証を通じて,計算効率を確保しつつ,予測精度と不確実性定量化を改善する手法の可能性を示す。

関連論文リスト

• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。 生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。 我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• Multivariate Bayesian Last Layer for Regression: Uncertainty Quantification and Disentanglement [4.137574627759939]
  異方性雑音下での多変量回帰の設定に新しいベイズラストレイヤーモデルを提案する。 パラメータ学習のための最適化アルゴリズムを提案する。 このフレームワークは、正統的な訓練を受けたディープニューラルネットワークを、不確実性を認識した新しいデータドメインに転送するために使用できることを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:53:32Z)
• Beyond mirkwood: Enhancing SED Modeling with Conformal Predictions [0.0]
  SEDフィッティングにおける柔軟性と不確実性を向上する,高度な機械学習ベースのアプローチを提案する。 我々は、整合化量子レグレッションを組み込んで、点予測をエラーバーに変換し、解釈可能性と信頼性を向上させる。
  論文  参考訳（メタデータ） (2023-12-21T11:27:20Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep Learning under Distribution Shift [19.945634052291542]
  我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。 我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。 そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
  論文  参考訳（メタデータ） (2023-06-21T14:36:03Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。