論文の概要: S2HPruner: Soft-to-Hard Distillation Bridges the Discretization Gap in Pruning

• arxiv url: http://arxiv.org/abs/2410.07046v1
• Date: Wed, 9 Oct 2024 16:36:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:57:18.150573
• Title: S2HPruner: Soft-to-Hard Distillation Bridges the Discretization Gap in Pruning
• Title（参考訳）: S2HPruner:プルーニングにおける離散化ギャップのソフト・ハード蒸留ブリッジ
• Authors: Weihao Lin, Shengji Tang, Chong Yu, Peng Ye, Tao Chen,
• Abstract要約: そこで本稿では,S2HPruner という新しい構造微分可能なマスク切断フレームワークを提案し,その差分ギャップを1段階的に橋渡しする。 トレーニング手順では、SH2Prunerはソフトネットワークとそれに対応するハードネットワークの両方を転送し、ソフトネットワークの監督の下でハードネットワークを蒸留する。 S2HPrunerは既存のプルーニング技術と比較して、総合的なベンチマークを微調整することなく、プルーニング性能を超えることができる。
• 参考スコア（独自算出の注目度）: 18.258760543765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, differentiable mask pruning methods optimize the continuous relaxation architecture (soft network) as the proxy of the pruned discrete network (hard network) for superior sub-architecture search. However, due to the agnostic impact of the discretization process, the hard network struggles with the equivalent representational capacity as the soft network, namely discretization gap, which severely spoils the pruning performance. In this paper, we first investigate the discretization gap and propose a novel structural differentiable mask pruning framework named S2HPruner to bridge the discretization gap in a one-stage manner. In the training procedure, SH2Pruner forwards both the soft network and its corresponding hard network, then distills the hard network under the supervision of the soft network. To optimize the mask and prevent performance degradation, we propose a decoupled bidirectional knowledge distillation. It blocks the weight updating from the hard to the soft network while maintaining the gradient corresponding to the mask. Compared with existing pruning arts, S2HPruner achieves surpassing pruning performance without fine-tuning on comprehensive benchmarks, including CIFAR-100, Tiny ImageNet, and ImageNet with a variety of network architectures. Besides, investigation and analysis experiments explain the effectiveness of S2HPruner. Codes will be released soon.
• Abstract（参考訳）: 近年, 分割型離散ネットワーク(ハードネットワーク)のプロキシとして, 連続緩和アーキテクチャ(ソフトネットワーク)を最適化し, より優れたサブアーキテクチャ探索を実現している。 しかし、離散化プロセスの非依存的な影響により、ハードネットワークはソフトネットワークとして同等の表現能力、すなわち離散化ギャップに悩まされ、プルーニング性能を著しく損なう。 本稿では、まず、離散化ギャップについて検討し、S2HPrunerという新しい構造微分可能なマスク切断フレームワークを提案し、離散化ギャップを1段階的に橋渡しする。 トレーニング手順では、SH2Prunerはソフトネットワークとそれに対応するハードネットワークの両方を転送し、ソフトネットワークの監督の下でハードネットワークを蒸留する。 マスクを最適化し,性能劣化を防止するために,分離した双方向知識蒸留法を提案する。 マスクに対応する勾配を維持しながら、ハードからソフトネットワークへの重量更新をブロックする。 既存のプルーニングアーツと比較して、S2HPrunerは、CIFAR-100、Tiny ImageNet、ImageNetなど、様々なネットワークアーキテクチャを含む包括的なベンチマークを微調整することなく、プルーニングパフォーマンスを上回ることができる。 さらに,S2HPrunerの有効性について検討・解析実験を行った。 コードも間もなくリリースされる予定だ。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning [41.19516938181544]
  現在のネットワーク圧縮法には、最大圧縮率を推定する理論的な枠組みが欠如している。 本研究では,ネットワークの最大冗長性を推定するための勾配行列特異点解析に基づく手法を提案する。 この最大速度で導かれ,ネットワーク性能を犠牲にすることなく,ニューロンネットワーク構造を最大化するために,新規で効率的な階層型ネットワークプルーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-07T21:30:47Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
  ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。 高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-07T05:26:45Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
  私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
  論文  参考訳（メタデータ） (2020-07-30T10:03:47Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。