論文の概要: Stein Variational Newton Neural Network Ensembles

• arxiv url: http://arxiv.org/abs/2411.01887v1
• Date: Mon, 04 Nov 2024 08:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:43:59.576225
• Title: Stein Variational Newton Neural Network Ensembles
• Title（参考訳）: 定常変分ニュートンニューラルネットアンサンブル
• Authors: Klemens Flöge, Mohammed Abdul Moeed, Vincent Fortuin,
• Abstract要約: 本稿では, 深いアンサンブルを修正し, スタイン変分ニュートン更新を取り入れたベイズ推定法を提案する。 我々のアプローチはスケーラブルな現代ヘッセン近似を一意に統合し、より高速な収束とより正確な後部分布近似を実現する。
• 参考スコア（独自算出の注目度）: 6.272841340448698
• License:
• Abstract: Deep neural network ensembles are powerful tools for uncertainty quantification, which have recently been re-interpreted from a Bayesian perspective. However, current methods inadequately leverage second-order information of the loss landscape, despite the recent availability of efficient Hessian approximations. We propose a novel approximate Bayesian inference method that modifies deep ensembles to incorporate Stein Variational Newton updates. Our approach uniquely integrates scalable modern Hessian approximations, achieving faster convergence and more accurate posterior distribution approximations. We validate the effectiveness of our method on diverse regression and classification tasks, demonstrating superior performance with a significantly reduced number of training epochs compared to existing ensemble-based methods, while enhancing uncertainty quantification and robustness against overfitting.
• Abstract（参考訳）: ディープニューラルネットワークアンサンブルは不確実性定量化のための強力なツールであり、ベイズの観点から最近再解釈されている。 しかし、現在の手法では、効率の良いヘッセン近似が最近利用可能になったにもかかわらず、ロスランドスケープの2次情報を不適切に活用している。 本稿では, 深いアンサンブルを修正し, スタイン変分ニュートン更新を取り入れたベイズ推定法を提案する。 我々のアプローチはスケーラブルな現代ヘッセン近似を一意に統合し、より高速な収束とより正確な後部分布近似を実現する。 提案手法の有効性を検証し,既存のアンサンブル法と比較してトレーニングのエポックを著しく低減し,不確実性の定量化とオーバーフィッティングに対する頑健性を高めた上で,優れた性能を示した。

関連論文リスト

• Logistic Variational Bayes Revisited [1.256245863497516]
  変分ロジスティック回帰はベイズ近似の一般的な方法である。 エビデンス・ロウアー・バウンド(英語版)の難易度のため、著者はモンテカルロ(英語版)の使用、すなわち二次的あるいは境界を推論に用いた。 本稿では,ソフトプラス関数の期待値に対する新たなバウンダリを提案する。 我々は,この境界が最先端技術よりも厳密であり,その結果の変動後部が最先端技術の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-06-02T11:32:28Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• The Stochastic Proximal Distance Algorithm [5.3315823983402755]
  本稿では,所望の制約付き推定問題をペナルティパラメータとして回復する反復最適化手法のクラスを提案し,解析する。 我々は、最近の理論装置を拡張して有限誤差境界を確立し、収束率の完全な評価を行う。 また,本手法が一般的な学習課題のバッチバージョンより優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-21T22:07:28Z)
• Meta Adversarial Perturbations [66.43754467275967]
  メタ逆境摂動(MAP)の存在を示す。 MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。 これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
  論文  参考訳（メタデータ） (2021-11-19T16:01:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Gradient-EM Bayesian Meta-learning [6.726255259929496]
  ベイズメタラーニングの背後にある主要なアイデアは、階層的モデルのベイズ推論を経験的に行うことである。 本研究では、このフレームワークを様々な既存手法に拡張し、勾配-EMアルゴリズムに基づく変種を提案する。 正弦波回帰, 少数ショット画像分類, およびポリシーに基づく強化学習実験により, 本手法は計算コストを抑えて精度を向上するだけでなく, 不確実性に対しても頑健であることが示された。
  論文  参考訳（メタデータ） (2020-06-21T10:52:59Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。