論文の概要: Efficient Model Compression for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2411.00273v1
• Date: Fri, 01 Nov 2024 00:07:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:49:54.423184
• Title: Efficient Model Compression for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークの効率的なモデル圧縮
• Authors: Diptarka Saha, Zihe Liu, Feng Liang,
• Abstract要約: 本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
• 参考スコア（独自算出の注目度）: 4.179545514579061
• License:
• Abstract: Model Compression has drawn much attention within the deep learning community recently. Compressing a dense neural network offers many advantages including lower computation cost, deployability to devices of limited storage and memories, and resistance to adversarial attacks. This may be achieved via weight pruning or fully discarding certain input features. Here we demonstrate a novel strategy to emulate principles of Bayesian model selection in a deep learning setup. Given a fully connected Bayesian neural network with spike-and-slab priors trained via a variational algorithm, we obtain the posterior inclusion probability for every node that typically gets lost. We employ these probabilities for pruning and feature selection on a host of simulated and real-world benchmark data and find evidence of better generalizability of the pruned model in all our experiments.
• Abstract（参考訳）: Model Compressionは最近、ディープラーニングコミュニティ内で多くの注目を集めています。 密度の高いニューラルネットワークの圧縮には、計算コストの低減、限られたストレージとメモリを持つデバイスへのデプロイ可能性、敵攻撃に対する耐性など、多くのメリットがある。 これは、ウェイトプルーニングまたは特定の入力特徴を完全に破棄することで達成される。 ここでは,ベイズモデル選択の原理を深層学習設定でエミュレートする新しい戦略を示す。 変分アルゴリズムを用いて訓練されたスパイク・アンド・スラブ前駆体を持つ完全に接続されたベイズニューラルネットワークを考えると、通常失われる全てのノードに対する後部包摂確率が得られる。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を使用し、全ての実験においてプルーニングモデルがより一般化可能であることを示す。

関連論文リスト

• Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions [10.635248457021499]
  プルーニングはディープニューラルネットワーク(DNN)を圧縮するための主要なアプローチの1つである モデルの重みと入力を軽度に仮定して,そのようなコアセットを計算するための,新しい,堅牢なフレームワークを提案する。 提案手法は,既存のコアセットに基づくニューラルプルーニング手法を,幅広いネットワークやデータセットで性能的に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T12:45:26Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• Split personalities in Bayesian Neural Networks: the case for full marginalisation [0.0]
  ベイズニューラルネットワークの真の後部分布は、非常に多様であることを示す。 ネットワークの分割されたパーソナリティをキャプチャできる適切なベイズサンプリングツールを使用して、すべての後部モードを完全に切り離すだけでよい。
  論文  参考訳（メタデータ） (2022-05-23T09:24:37Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Point-Cloud Deep Learning of Porous Media for Permeability Prediction [0.0]
  デジタル画像から多孔質媒体の透過性を予測するための新しいディープラーニングフレームワークを提案する。 我々は、固体行列と細孔空間の境界を点雲としてモデル化し、それらをポイントネットアーキテクチャに基づくニューラルネットワークへの入力として供給する。
  論文  参考訳（メタデータ） (2021-07-18T22:59:21Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。