論文の概要: Electrostatic Force Regularization for Neural Structured Pruning
- arxiv url: http://arxiv.org/abs/2411.11079v1
- Date: Sun, 17 Nov 2024 13:55:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:33:12.741016
- Title: Electrostatic Force Regularization for Neural Structured Pruning
- Title（参考訳）: ニューラル構造化プルーニングのための静電力正規化
- Authors: Abdesselam Ferdi, Abdelmalik Taleb-Ahmed, Amir Nakib, Youcef Ferdi,
- Abstract要約: 本稿では,DCNNのトレーニングプロセスに電荷と静電力の概念を取り入れた新しい手法を提案する。
この静電気的力は畳み込みフィルタに作用し、逆電荷のフィルタを非零重みに誘引するか、あるいは0重みに向かって電荷のようなフィルタを撃退する。
従来の手法とは異なり,本手法は実装が容易で,アーキテクチャの変更は一切必要とせず,重み付けとフィルタの重要度を同時に最適化する。
- 参考スコア（独自算出の注目度）: 6.668145923589386
- License:
- Abstract: The demand for deploying deep convolutional neural networks (DCNNs) on resource-constrained devices for real-time applications remains substantial. However, existing state-of-the-art structured pruning methods often involve intricate implementations, require modifications to the original network architectures, and necessitate an extensive fine-tuning phase. To overcome these challenges, we propose a novel method that, for the first time, incorporates the concepts of charge and electrostatic force from physics into the training process of DCNNs. The magnitude of this force is directly proportional to the product of the charges of the convolution filter and the source filter, and inversely proportional to the square of the distance between them. We applied this electrostatic-like force to the convolution filters, either attracting filters with opposite charges toward non-zero weights or repelling filters with like charges toward zero weights. Consequently, filters subject to repulsive forces have their weights reduced to zero, enabling their removal, while the attractive forces preserve filters with significant weights that retain information. Unlike conventional methods, our approach is straightforward to implement, does not require any architectural modifications, and simultaneously optimizes weights and ranks filter importance, all without the need for extensive fine-tuning. We validated the efficacy of our method on modern DCNN architectures using the MNIST, CIFAR, and ImageNet datasets, achieving competitive performance compared to existing structured pruning approaches.
- Abstract（参考訳）: リアルタイムアプリケーションのためのリソース制約のあるデバイスに、ディープ畳み込みニューラルネットワーク(DCNN)をデプロイする必要性は、依然として大きい。
しかし、既存の最先端の構造化プルーニング手法は、複雑な実装を伴い、元のネットワークアーキテクチャの変更を必要とし、広範囲な微調整フェーズを必要とすることが多い。
これらの課題を克服するために、我々は初めて、電荷と静電力の概念をDCNNのトレーニングプロセスに組み込む新しい方法を提案する。
この力の大きさは、畳み込みフィルタとソースフィルタの電荷の積と直接比例し、それらの間の距離の正方形に逆比例する。
我々は、この静電気的な力を畳み込みフィルタに適用し、逆電荷のフィルタを非ゼロ重みに誘引するか、または0重みに向かって電荷のようなフィルタを反発させるかした。
その結果、反発力を受けるフィルタは重量をゼロに減らし、除去が可能となり、一方で魅力的な力は情報を保持する重要な重みを持つフィルタを保存できる。
従来の手法とは異なり,本手法は実装が容易で,アーキテクチャ上の変更は不要であり,重み付けとフィルタのランク付けを同時に最適化する。
MNIST, CIFAR, ImageNetデータセットを用いて, 最新のDCNNアーキテクチャにおける本手法の有効性を検証する。
関連論文リスト
- Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。
本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
論文 参考訳（メタデータ） (2024-07-20T10:18:42Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。
刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。
我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
論文 参考訳（メタデータ） (2023-07-03T05:26:05Z) - Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters [17.316537476091867]
敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。
本稿では,Adversarial Weight-Varied Network (AW-Net) という,サンプルワイドな動的ネットワークアーキテクチャを提案する。
AW-Netは、敵ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。
論文 参考訳（メタデータ） (2023-06-06T06:09:11Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳（メタデータ） (2021-06-15T17:22:59Z) - Dynamic Slimmable Network [105.74546828182834]
ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。
ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。
静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
論文 参考訳（メタデータ） (2021-03-24T15:25:20Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Learning Sparse Filters in Deep Convolutional Neural Networks with a
l1/l2 Pseudo-Norm [5.3791844634527495]
ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。
近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。
フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
論文 参考訳（メタデータ） (2020-07-20T11:56:12Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - A Unified DNN Weight Compression Framework Using Reweighted Optimization
Methods [31.869228048294445]
指定された制約に縛られた動的に更新された正規化項を持つ統合DNN重み決定フレームワークを提案する。
また、異なるDNN圧縮タスクを組み合わせるための統合フレームワークにもメソッドを拡張します。
論文 参考訳（メタデータ） (2020-04-12T02:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。