論文の概要: Automatic Complementary Separation Pruning Toward Lightweight CNNs

• arxiv url: http://arxiv.org/abs/2505.13225v1
• Date: Mon, 19 May 2025 15:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.684916
• Title: Automatic Complementary Separation Pruning Toward Lightweight CNNs
• Title（参考訳）: 軽量CNNに向けた自動補完分離
• Authors: David Levin, Gonen Singer,
• Abstract要約: 本稿では,畳み込みニューラルネットワークのための新しい完全自動プルーニング手法ACSPを提案する。 ACSPは、構造化プルーニングとアクティベーションベースのプルーニングの両方の強度を統合する。 本稿では,ACSPが計算コストを大幅に削減しつつ,他の手法と比較して競争精度を向上することを示す。
• 参考スコア（独自算出の注目度）: 4.051523221722475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present Automatic Complementary Separation Pruning (ACSP), a novel and fully automated pruning method for convolutional neural networks. ACSP integrates the strengths of both structured pruning and activation-based pruning, enabling the efficient removal of entire components such as neurons and channels while leveraging activations to identify and retain the most relevant components. Our approach is designed specifically for supervised learning tasks, where we construct a graph space that encodes the separation capabilities of each component with respect to all class pairs. By employing complementary selection principles and utilizing a clustering algorithm, ACSP ensures that the selected components maintain diverse and complementary separation capabilities, reducing redundancy and maintaining high network performance. The method automatically determines the optimal subset of components in each layer, utilizing a knee-finding algorithm to select the minimal subset that preserves performance without requiring user-defined pruning volumes. Extensive experiments on multiple architectures, including VGG-16, ResNet-50, and MobileNet-V2, across datasets like CIFAR-10, CIFAR-100, and ImageNet-1K, demonstrate that ACSP achieves competitive accuracy compared to other methods while significantly reducing computational costs. This fully automated approach not only enhances scalability but also makes ACSP especially practical for real-world deployment by eliminating the need for manually defining the pruning volume.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークの新しい完全自動プルーニング手法であるACSPを提案する。 ACSPは構造化プルーニングとアクティベーションベースのプルーニングの両方の長所を統合し、ニューロンやチャネルなどのコンポーネント全体を効率的に除去し、アクティベーションを利用して最も関連性の高いコンポーネントを特定し、保持する。 本手法は教師付き学習タスクに特化して設計されており,全てのクラス対に対して各コンポーネントの分離能力を符号化するグラフ空間を構築している。 相補的な選択原理を採用し、クラスタリングアルゴリズムを利用することで、ACSPは選択したコンポーネントが多種多様な相補的な分離機能を維持し、冗長性を低減し、高いネットワーク性能を維持することを保証する。 本手法は,各層における部品の最適部分集合を自動的に決定し,ユーザ定義プルーニングボリュームを必要とせず,性能を保った最小部分集合を選択する。 VGG-16、ResNet-50、MobileNet-V2など、CIFAR-10、CIFAR-100、ImageNet-1Kのようなデータセットにわたる複数のアーキテクチャに関する大規模な実験は、ACSPが計算コストを大幅に削減しつつ、他の手法と比較して競合精度を達成していることを示した。 この完全に自動化されたアプローチはスケーラビリティを向上するだけでなく、プルーニングボリュームを手動で定義する必要がなくなることで、ACSPを特に現実のデプロイメントに実用的にする。

関連論文リスト

• Enhanced Pruning Strategy for Multi-Component Neural Architectures Using Component-Aware Graph Analysis [1.8434042562191812]
  ディープニューラルネットワーク(DNN)は優れたパフォーマンスを提供するが、その複雑さはリソース制約された設定でのデプロイメントをしばしば禁止する。 パラメータ依存解析に基づく包括的構造化プルーニングフレームワークは、計算性能に特有なモデルサイズを減少させる。 コンポーネントを意識したプルーニング戦略を導入し、依存グラフを拡張して個々のコンポーネントとコンポーネント間フローを分離する。
  論文  参考訳（メタデータ） (2025-04-17T19:12:49Z)
• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA [0.31498833540989407]
  ODESAは、グラデーションを使わずに、エンド・ツー・エンドの多層オンラインローカル教師ありトレーニングを行う最初のネットワークである。 本研究は,ネットワークアーキテクチャと重みとしきい値のオンライントレーニングを,大規模ハードウェア上で効率的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-31T00:34:15Z)
• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。