論文の概要: Elimination-compensation pruning for fully-connected neural networks
- arxiv url: http://arxiv.org/abs/2602.20467v1
- Date: Tue, 24 Feb 2026 01:56:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.573865
- Title: Elimination-compensation pruning for fully-connected neural networks
- Title（参考訳）: 完全連結ニューラルネットワークの除去補償プルーニング
- Authors: Enrico Ballini, Luca Muscarnera, Alessio Fumagalli, Anna Scotti, Francesco Regazzoni,
- Abstract要約: プルーニング技術は、ニューラルネットワークパラメータのスパース表現を抽出するために用いられる。
本稿では,各重みの重み付けの重要度を,出力の振舞いを考慮して計算する手法を提案する。
本研究の成果は概説され,その理論的意義が示唆された。
- 参考スコア（独自算出の注目度）: 2.785400823678854
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The unmatched ability of Deep Neural Networks in capturing complex patterns in large and noisy datasets is often associated with their large hypothesis space, and consequently to the vast amount of parameters that characterize model architectures. Pruning techniques affirmed themselves as valid tools to extract sparse representations of neural networks parameters, carefully balancing between compression and preservation of information. However, a fundamental assumption behind pruning is that expendable weights should have small impact on the error of the network, while highly important weights should tend to have a larger influence on the inference. We argue that this idea could be generalized; what if a weight is not simply removed but also compensated with a perturbation of the adjacent bias, which does not contribute to the network sparsity? Our work introduces a novel pruning method in which the importance measure of each weight is computed considering the output behavior after an optimal perturbation of its adjacent bias, efficiently computable by automatic differentiation. These perturbations can be then applied directly after the removal of each weight, independently of each other. After deriving analytical expressions for the aforementioned quantities, numerical experiments are conducted to benchmark this technique against some of the most popular pruning strategies, demonstrating an intrinsic efficiency of the proposed approach in very diverse machine learning scenarios. Finally, our findings are discussed and the theoretical implications of our results are presented.
- Abstract（参考訳）: 大規模でノイズの多いデータセットで複雑なパターンをキャプチャするディープニューラルネットワークの非整合性はしばしば、その大きな仮説空間と関連付けられ、結果としてモデルアーキテクチャを特徴づける膨大なパラメータに関連付けられている。
プルーニング技術は、ニューラルネットワークパラメータのスパース表現を抽出し、圧縮と情報の保存のバランスを慎重に行う有効なツールであると自認した。
しかしながら、プルーニングの背後にある基本的な前提は、拡張可能な重みはネットワークのエラーに小さな影響を与えるべきであり、一方で非常に重要な重みは推論に大きな影響を与える傾向にある。
重みが単に取り除かれただけでなく、隣り合うバイアスの摂動によって補償されたら、それはネットワークの空間に寄与しないのだろうか?
本研究では, 隣接バイアスの最適摂動後の出力挙動を考慮し, 自動微分により効率よく計算できる新しいプルーニング法を提案する。
これらの摂動は、互いに独立して、各重量の除去後に直接適用することができる。
上記の量に対する解析式を導出した後、この手法を最もポピュラーなプルーニング戦略のいくつかと比較し、非常に多様な機械学習シナリオにおいて提案手法の本質的な効率性を実証する数値実験を行った。
最後に,本研究の成果について考察し,その理論的意義について述べる。
関連論文リスト
- Network reconstruction via the minimum description length principle [0.0]
階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。
提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。
提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
論文 参考訳（メタデータ） (2024-05-02T05:35:09Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Implicit Compressibility of Overparametrized Neural Networks Trained
with Heavy-Tailed SGD [31.61477313262589]
勾配降下(SGD)を訓練した一層ニューラルネットワークの検討
加法的な重み付きノイズを各繰り返しに注入すると、任意の圧縮率に対して、アルゴリズムの出力が高い確率で圧縮可能であるように過度なパラメータ化のレベルが存在することを示す。
論文 参考訳（メタデータ） (2023-06-13T20:37:02Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-25T07:42:06Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳（メタデータ） (2021-03-03T06:17:03Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Stable Recovery of Entangled Weights: Towards Robust Identification of
Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。
エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。
本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文 参考訳（メタデータ） (2021-01-18T16:31:19Z) - Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。
本稿では,理論的観点から,そのような手法の性能について考察する。
交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
論文 参考訳（メタデータ） (2020-11-03T15:33:10Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。