論文の概要: Feature Preserving Shrinkage on Bayesian Neural Networks via the R2D2 Prior

• arxiv url: http://arxiv.org/abs/2505.18280v1
• Date: Fri, 23 May 2025 18:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.318953
• Title: Feature Preserving Shrinkage on Bayesian Neural Networks via the R2D2 Prior
• Title（参考訳）: R2D2前処理によるベイズニューラルネットワークの収縮特性の保存
• Authors: Tsai Hor Chan, Dora Yan Zhang, Guosheng Yin, Lequan Yu,
• Abstract要約: ベイズニューラルネットワーク(BNN)は、ニューラルネットワークの重みを確率変数として扱う。 本稿では,BNNの重み付けに先立って,R2誘起ディリクレ分解(R2D2)を強制する新しいR2D2-Netを提案する。 R2D2-Netは、重要な特徴を過収縮から防ぎながら、無関係な係数をゼロに効果的に縮小することができる。
• 参考スコア（独自算出の注目度）: 22.218522445858344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks (BNNs) treat neural network weights as random variables, which aim to provide posterior uncertainty estimates and avoid overfitting by performing inference on the posterior weights. However, the selection of appropriate prior distributions remains a challenging task, and BNNs may suffer from catastrophic inflated variance or poor predictive performance when poor choices are made for the priors. Existing BNN designs apply different priors to weights, while the behaviours of these priors make it difficult to sufficiently shrink noisy signals or they are prone to overshrinking important signals in the weights. To alleviate this problem, we propose a novel R2D2-Net, which imposes the R^2-induced Dirichlet Decomposition (R2D2) prior to the BNN weights. The R2D2-Net can effectively shrink irrelevant coefficients towards zero, while preventing key features from over-shrinkage. To approximate the posterior distribution of weights more accurately, we further propose a variational Gibbs inference algorithm that combines the Gibbs updating procedure and gradient-based optimization. This strategy enhances stability and consistency in estimation when the variational objective involving the shrinkage parameters is non-convex. We also analyze the evidence lower bound (ELBO) and the posterior concentration rates from a theoretical perspective. Experiments on both natural and medical image classification and uncertainty estimation tasks demonstrate satisfactory performance of our method.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、ニューラルネットワークの重みをランダムな変数として扱い、これは後続の不確実性の推定を提供し、後続の重みを推測することで過度な適合を避けることを目的としている。 しかし、適切な事前分布の選択は依然として困難な課題であり、BNNは、事前選択が不十分な場合には、破滅的な膨張分散や予測性能の低下に悩まされる可能性がある。 既存のBNNの設計では、重みに対して異なる先行を適用できるが、これらの先行の動作はノイズ信号の十分な縮小を困難にし、重みにおいて重要な信号の過細化を難しくする。 この問題を緩和するために、BNN重みよりも前にR^2誘起ジリクレ分解(R2D2)を強制する新しいR2D2-Netを提案する。 R2D2-Netは、重要な特徴を過収縮から防ぎながら、無関係な係数をゼロに効果的に縮小することができる。 さらに、重みの後方分布をより正確に近似するために、Gibs更新手順と勾配に基づく最適化を組み合わせた変分ギブス推論アルゴリズムを提案する。 この戦略は、縮小パラメータを含む変動目標が非凸である場合、推定における安定性と一貫性を高める。 また,エビデンス・ローバウンド(ELBO)と後部濃度率を理論的観点から分析した。 自然・医学的な画像分類と不確実性評価の両課題に関する実験は,本手法の良好な性能を示す。

関連論文リスト

• On weight and variance uncertainty in neural networks for regression tasks [1.6649383443094408]
  分散不確実性を含むことにより,ベイズNNの予測性能が向上することを示す。 我々は,ネットワーク重みについて,それぞれガウスとスパイク・アンド・スラブの先行値を持つ完全連結高密度ネットワークとドロップアウトNNを探索する。
  論文  参考訳（メタデータ） (2025-01-08T04:44:47Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data [7.33020629757864]
  本稿では,物理インフォームドニューラルネットワーク(B-PINN)を提案する。 B-PINNは、物理法則と散乱ノイズの測定の両方を利用して、アレータリック不確かさの予測と定量化を行う。
  論文  参考訳（メタデータ） (2020-03-13T04:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。