論文の概要: Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization

• arxiv url: http://arxiv.org/abs/2210.09134v2
• Date: Thu, 31 Aug 2023 11:49:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 21:19:25.825137
• Title: Principled Pruning of Bayesian Neural Networks through Variational Free Energy Minimization
• Title（参考訳）: 変分自由エネルギー最小化によるベイズニューラルネットワークの原理的プルーニング
• Authors: Jim Beckers, Bart van Erp, Ziyue Zhao, Kirill Kondrashov and Bert de Vries
• Abstract要約: ベイジアンニューラルネットワークの原理的プルーニングを行うためにベイジアンモデルレダクションを定式化し,適用する。 ベイズモデル削減に伴う問題を緩和するために, 新たな反復刈り込みアルゴリズムを提案する。 本実験は,最先端の刈り取り方式と比較して,優れたモデル性能を示す。
• 参考スコア（独自算出の注目度）: 2.3999111269325266
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Bayesian model reduction provides an efficient approach for comparing the performance of all nested sub-models of a model, without re-evaluating any of these sub-models. Until now, Bayesian model reduction has been applied mainly in the computational neuroscience community on simple models. In this paper, we formulate and apply Bayesian model reduction to perform principled pruning of Bayesian neural networks, based on variational free energy minimization. Direct application of Bayesian model reduction, however, gives rise to approximation errors. Therefore, a novel iterative pruning algorithm is presented to alleviate the problems arising with naive Bayesian model reduction, as supported experimentally on the publicly available UCI datasets for different inference algorithms. This novel parameter pruning scheme solves the shortcomings of current state-of-the-art pruning methods that are used by the signal processing community. The proposed approach has a clear stopping criterion and minimizes the same objective that is used during training. Next to these benefits, our experiments indicate better model performance in comparison to state-of-the-art pruning schemes.
• Abstract（参考訳）: ベイズモデル還元は、これらのサブモデルを再評価することなく、モデルのネストした全てのサブモデルのパフォーマンスを比較するための効率的なアプローチを提供する。 これまでベイズモデル還元は、主に計算神経科学のコミュニティで単純なモデルに応用されてきた。 本稿では,変分自由エネルギー最小化に基づくベイズニューラルネットワークの原理的プルーニングを行うためにベイズモデル削減を定式化し,適用する。 しかし、ベイズモデル還元の直接的適用は近似誤差をもたらす。 そこで,様々な推論アルゴリズムに対して,公開可能なuciデータセット上で実験的にサポートされているような,ナイーブベイズモデル還元に起因する問題を緩和するために,新しい反復pruningアルゴリズムを提案する。 この新たなパラメータプルーニングスキームは,信号処理コミュニティが使用する最先端プルーニング手法の欠点を解決する。 提案手法は、明確な停止基準を持ち、トレーニング中に使用されるのと同じ目的を最小化する。 これらの利点の次は、最先端プルーニング方式と比較してモデル性能が良いことを示す。

関連論文リスト

• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Adaptive operator learning for infinite-dimensional Bayesian inverse problems [7.716833952167609]
  本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。 UKIフレームワークを用いて線形の場合において厳密な収束を保証する。 その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-10-27T01:50:33Z)
• Bayesian Cramér-Rao Bound Estimation with Score-Based Models [3.4480437706804503]
  ベイジアンクラム・ラオ境界(英語版)(英: Bayesian Cram'er-Rao bound, CRB)は、任意のベイジアン推定器の平均二乗誤差に対する下界を与える。 本研究は,スコアマッチングを用いたCRBのための新しいデータ駆動推定手法を提案する。
  論文  参考訳（メタデータ） (2023-09-28T00:22:21Z)
• Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
  モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。 提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
  論文  参考訳（メタデータ） (2023-07-21T03:43:07Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization without Compounding Errors [10.906666680425754]
  我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。 複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
  論文  参考訳（メタデータ） (2020-06-08T21:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。