論文の概要: Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood

• arxiv url: http://arxiv.org/abs/2402.15978v2
• Date: Mon, 04 Nov 2024 20:36:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:57:31.825691
• Title: Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood
• Title（参考訳）: Occam's Razorによる重みのシェービング:Marginal Likelihoodを用いたニューラルネットワークのベイジアンスカラー化
• Authors: Rayen Dhahri, Alexander Immer, Betrand Charpentier, Stephan Günnemann, Vincent Fortuin,
• Abstract要約: ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを削減できる有望な方法である。 Sparsifiability via the Marginal chance (SpaM) a pruning framework。 当社のフレームワークの有効性を,特に高頻度で実証する。
• 参考スコア（独自算出の注目度）: 86.70040320522432
• License:
• Abstract: Neural network sparsification is a promising avenue to save computational time and memory costs, especially in an age where many successful AI models are becoming too large to na\"ively deploy on consumer hardware. While much work has focused on different weight pruning criteria, the overall sparsifiability of the network, i.e., its capacity to be pruned without quality loss, has often been overlooked. We present Sparsifiability via the Marginal likelihood (SpaM), a pruning framework that highlights the effectiveness of using the Bayesian marginal likelihood in conjunction with sparsity-inducing priors for making neural networks more sparsifiable. Our approach implements an automatic Occam's razor that selects the most sparsifiable model that still explains the data well, both for structured and unstructured sparsification. In addition, we demonstrate that the pre-computed posterior Hessian approximation used in the Laplace approximation can be re-used to define a cheap pruning criterion, which outperforms many existing (more expensive) approaches. We demonstrate the effectiveness of our framework, especially at high sparsity levels, across a range of different neural network architectures and datasets.
• Abstract（参考訳）: ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを節約するための有望な手段であり、特に、多くの成功したAIモデルが"消費者ハードウェアに"ナビゲートする"には大きすぎる時代にある。 多くの作業は異なるウェイトプルーニング基準に重点を置いているが、ネットワーク全体のスパーシフィビリティ、すなわち品質を損なうことなくプルーニングできる能力は見過ごされがちである。 Sparsifiability via the Marginal chance (SpaM) は、ニューラルネットワークをよりスパシビリティにするために、ベイジアン限界可能性(Bayesian marginal chance)を用いることの有効性を強調したプルーニングフレームワークである。 提案手法では, 構造的および非構造的スペーシングの両面において, データをうまく説明できる最もスペーサ可能なモデルを選択する自動オッカムカミソリを実装している。 さらに,ラプラス近似における事前計算後のヘッセン近似は,多くの既存の(より高価な)アプローチよりも優れている安価なプルーニング基準を定義するために再利用可能であることを示す。 我々は、ニューラルネットワークアーキテクチャやデータセットのさまざまな範囲において、フレームワーク、特に高空間レベルでの有効性を実証する。

関連論文リスト

• Confident magnitude-based neural network pruning [0.0]
  ニューラルネットワークのプルーニングは、ディープラーニングモデルの効率向上とメモリストレージの削減に成功している。 我々は、分布のない不確実性定量化に関する最近の技術を活用し、深いニューラルネットワークを圧縮するための有限サンプル統計保証を提供する。 この研究は、不確実性を認識したプルーニングが、スパースニューラルネットワークを安全にデプロイするための有用なアプローチであることを示すために、コンピュータビジョンタスクでの実験を示す。
  論文  参考訳（メタデータ） (2024-08-08T21:29:20Z)
• FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
  ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。 現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。 本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T18:40:47Z)
• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• Weight Pruning via Adaptive Sparsity Loss [31.978830843036658]
  近年、最先端のディープニューラルネットワークを圧縮する手段として、プルーニングニューラルネットワークが注目を集めている。 本稿では,ネットワークパラメータを最小限の計算オーバーヘッドで効率的に学習する頑健な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-04T10:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。