論文の概要: Structure-Aware Automatic Channel Pruning by Searching with Graph Embedding

• arxiv url: http://arxiv.org/abs/2506.11469v1
• Date: Fri, 13 Jun 2025 05:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.661325
• Title: Structure-Aware Automatic Channel Pruning by Searching with Graph Embedding
• Title（参考訳）: グラフ埋め込みを用いた検索による構造認識型自動チャネルプルーニング
• Authors: Zifan Liu, Yuan Cao, Yanwei Yu, Heng Qi, Jie Gui,
• Abstract要約: チャネルプルーニングはディープニューラルネットワークの計算オーバーヘッドを低減するための強力な技術である。 ネットワークトポロジをモデル化し,各チャネルのグローバルな重要性を学習するための,構造対応自動チャネルプルーニング(SACP)フレームワークを提案する。 SACPは圧縮効率と精度保持の競争力において最先端のプルーニング法より優れている。
• 参考スコア（独自算出の注目度）: 28.03880549472142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning is a powerful technique to reduce the computational overhead of deep neural networks, enabling efficient deployment on resource-constrained devices. However, existing pruning methods often rely on local heuristics or weight-based criteria that fail to capture global structural dependencies within the network, leading to suboptimal pruning decisions and degraded model performance. To address these limitations, we propose a novel structure-aware automatic channel pruning (SACP) framework that utilizes graph convolutional networks (GCNs) to model the network topology and learn the global importance of each channel. By encoding structural relationships within the network, our approach implements topology-aware pruning and this pruning is fully automated, reducing the need for human intervention. We restrict the pruning rate combinations to a specific space, where the number of combinations can be dynamically adjusted, and use a search-based approach to determine the optimal pruning rate combinations. Extensive experiments on benchmark datasets (CIFAR-10, ImageNet) with various models (ResNet, VGG16) demonstrate that SACP outperforms state-of-the-art pruning methods on compression efficiency and competitive on accuracy retention.
• Abstract（参考訳）: チャネルプルーニングは、ディープニューラルネットワークの計算オーバーヘッドを低減する強力な技術であり、リソース制約のあるデバイスへの効率的なデプロイを可能にする。 しかし、既存のプルーニング手法は、ネットワーク内のグローバルな構造的依存関係を捉えるのに失敗する局所的ヒューリスティックや重みに基づく基準に依存し、最適プルーニング決定とモデル性能の低下につながる。 これらの制約に対処するため,ネットワークトポロジをモデル化し,各チャネルのグローバルな重要性を学習するために,グラフ畳み込みネットワーク(GCN)を利用した構造対応自動チャネルプルーニング(SACP)フレームワークを提案する。 ネットワーク内の構造的関係を符号化することにより、トポロジを意識したプルーニングを実現し、このプルーニングは完全に自動化され、人間の介入の必要性が軽減される。 我々は,任意の空間にプルーニングレートの組み合わせを制限し,その組み合わせの数を動的に調整し,探索に基づく手法を用いて最適プルーニングレートの組み合わせを決定する。 ベンチマークデータセット(CIFAR-10, ImageNet)の様々なモデル(ResNet, VGG16)による大規模な実験により、SACPは圧縮効率と精度保持の競争力において最先端のプルーニング手法より優れていることが示された。

関連論文リスト

• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。