論文の概要: Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization

• arxiv url: http://arxiv.org/abs/2411.16901v1
• Date: Mon, 25 Nov 2024 20:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:26.300777
• Title: Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization
• Title（参考訳）: 重力正規化による深部畳み込みニューラルネットワークの構造解析
• Authors: Abdesselam Ferdi,
• Abstract要約: 我々は、重力の概念を深層畳み込みニューラルネットワーク(DCNN)の訓練段階に統合する物理に着想を得たアプローチを提案する。 このアプローチでは、重力は畳み込みフィルタと誘引フィルタの質量の積に直接比例し、その間の距離の正方形に逆比例する。 その結果、より強い重力を経験するフィルターは重量をゼロに減らし、除去が可能となり、一方で弱い重力下でのフィルターは重要な重量を保持し、重要な情報を保持する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Structured pruning is a widely employed strategy for accelerating deep convolutional neural networks (DCNNs). However, existing methods often necessitate modifications to the original architectures, involve complex implementations, and require lengthy fine-tuning stages. To address these challenges, we propose a novel physics-inspired approach that integrates the concept of gravity into the training stage of DCNNs. In this approach, the gravity is directly proportional to the product of the masses of the convolution filter and the attracting filter, and inversely proportional to the square of the distance between them. We applied this force to the convolution filters, either drawing filters closer to the attracting filter (experiencing weaker gravity) toward non-zero weights or pulling filters farther away (subject to stronger gravity) toward zero weights. As a result, filters experiencing stronger gravity have their weights reduced to zero, enabling their removal, while filters under weaker gravity retain significant weights and preserve important information. Our method simultaneously optimizes the filter weights and ranks their importance, eliminating the need for complex implementations or extensive fine-tuning. We validated the proposed approach on popular DCNN architectures using the CIFAR dataset, achieving competitive results compared to existing methods.
• Abstract（参考訳）: 構造化プルーニングは、ディープ畳み込みニューラルネットワーク(DCNN)の高速化に広く利用されている戦略である。 しかし、既存の手法は、しばしばオリジナルのアーキテクチャの変更を必要とし、複雑な実装を伴い、長い微調整の段階を必要とする。 これらの課題に対処するため、我々は、重力の概念をDCNNの訓練段階に統合する、物理学に着想を得た新しいアプローチを提案する。 このアプローチでは、重力は畳み込みフィルタと誘引フィルタの質量の積に直接比例し、その間の距離の正方形に逆比例する。 我々は、この力を畳み込みフィルタに適用し、誘引フィルタ(弱い重力を経験する)に近づき、非ゼロ重みに近づいたり、フィルターをゼロ重みに遠ざかったり(強い重力に接する)した。 その結果、より強い重力を経験するフィルターは重量をゼロに減らし、除去が可能となり、一方で弱い重力下でのフィルターは重要な重量を保持し、重要な情報を保持する。 本手法はフィルタ重みを同時に最適化し,その重要性をランク付けし,複雑な実装や広範囲な微調整の必要性を解消する。 提案手法をCIFARデータセットを用いて検証し,既存の手法と比較して競争力のある結果を得た。

関連論文リスト

• Electrostatic Force Regularization for Neural Structured Pruning [6.668145923589386]
  本稿では,DCNNのトレーニングプロセスに電荷と静電力の概念を取り入れた新しい手法を提案する。 この静電気的力は畳み込みフィルタに作用し、逆電荷のフィルタを非零重みに誘引するか、あるいは0重みに向かって電荷のようなフィルタを撃退する。 従来の手法とは異なり,本手法は実装が容易で,アーキテクチャの変更は一切必要とせず,重み付けとフィルタの重要度を同時に最適化する。
  論文  参考訳（メタデータ） (2024-11-17T13:55:35Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Weight Evolution: Improving Deep Neural Networks Training through Evolving Inferior Weight Values [11.124057121270504]
  本稿では,重量再活性化要素の問題点について考察する。 進化により、重要でないフィルタを選択し、重要でない要素を更新する。 本稿では,グローバルな選択戦略と局所的な選択戦略を提案し,それらを組み合わせて重要でないフィルタの探索を行う。
  論文  参考訳（メタデータ） (2021-10-09T07:33:11Z)
• DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel [7.106986689736828]
  完全に接続されたニューラルネットワークによって生成される密度場を用いてSIMP法について検討し,その座標を入力とする。 我々は,DNNの使用が従来のSIMPのフィルタリング手法と類似したフィルタリング効果をもたらすことを示し,ニューラル・タンジェント・カーネル(NTK)によるフィルタについて述べる。
  論文  参考訳（メタデータ） (2021-06-10T12:49:55Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)
• Gabor Convolutional Networks [103.87356592690669]
  我々は、Gaborフィルタをディープ畳み込みニューラルネットワーク(DCNN)に組み込む、GCN(Gabor Convolutional Networks)と呼ばれる新しいディープモデルを提案する。 GCNは簡単に実装でき、一般的なディープラーニングアーキテクチャと互換性がある。 実験により,物体認識におけるアルゴリズムの超能力を示す。
  論文  参考訳（メタデータ） (2017-05-03T14:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。