Fugu-MT 論文翻訳(概要): PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression

論文の概要: PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression

arxiv url: http://arxiv.org/abs/2203.08456v1
Date: Wed, 16 Mar 2022 08:26:05 GMT
ステータス: 処理完了
システム内更新日: 2022-03-17 14:46:28.521618
Title: PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression
Title（参考訳）: PPCD-GAN:大規模GAN圧縮のためのプログレッシブプルーニングとクラスアウェア蒸留
Authors: Duc Minh Vo, Akihiro Sugimoto, Hideki Nakayama
Abstract要約: 我々は,大規模条件生成対向ネットワーク(GAN)圧縮において,新たな課題を生かして,ニューラルネットワーク圧縮の研究を推し進める。本稿では, プログレッシブプルーニング残差ブロック (PP-Res) とクラス認識蒸留を導入することで, 徐々に縮小するGAN (PPCD-GAN) を提案する。 ImageNet 128x128データセットで、PPCD-GANはパフォーマンスを向上しつつ、最先端技術に対するパラメータを最大5.2倍(81%)削減します。
参考スコア（独自算出の注目度）: 31.528677471224633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We push forward neural network compression research by exploiting a novel challenging task of large-scale conditional generative adversarial networks (GANs) compression. To this end, we propose a gradually shrinking GAN (PPCD-GAN) by introducing progressive pruning residual block (PP-Res) and class-aware distillation. The PP-Res is an extension of the conventional residual block where each convolutional layer is followed by a learnable mask layer to progressively prune network parameters as training proceeds. The class-aware distillation, on the other hand, enhances the stability of training by transferring immense knowledge from a well-trained teacher model through instructive attention maps. We train the pruning and distillation processes simultaneously on a well-known GAN architecture in an end-to-end manner. After training, all redundant parameters as well as the mask layers are discarded, yielding a lighter network while retaining the performance. We comprehensively illustrate, on ImageNet 128x128 dataset, PPCD-GAN reduces up to 5.2x (81%) parameters against state-of-the-arts while keeping better performance.
Abstract（参考訳）: 我々は,大規模条件生成対向ネットワーク(GAN)圧縮の新たな課題を活用することで,ニューラルネットワーク圧縮の研究を推し進める。そこで本研究では, プログレッシブプルーニング残差ブロック(PP-Res)とクラス認識蒸留を導入して, 徐々に縮小するGAN(PPCD-GAN)を提案する。 PP-Resは従来の残留ブロックの拡張であり、各畳み込み層に学習可能なマスク層が続き、トレーニングが進むにつれてネットワークパラメータを段階的にプーンする。一方, 授業対応蒸留は, 指導的注意マップを通して教師モデルから膨大な知識を伝達することにより, 訓練の安定性を高める。我々は、よく知られたGANアーキテクチャ上で、プルーニングと蒸留のプロセスをエンドツーエンドで同時に訓練する。トレーニング後、すべての冗長パラメータとマスク層が破棄され、パフォーマンスを維持しながらより軽量なネットワークが生成される。 ImageNet 128x128データセットで、PPCD-GANはパフォーマンスを向上しつつ、最先端技術に対するパラメータを最大5.2倍(81%)削減します。

関連論文リスト

MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated Convolution for Image Compressive Sensing (CS) [0.0]
圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。 MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
論文参考訳（メタデータ） (2024-01-05T16:25:58Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文参考訳（メタデータ） (2022-09-30T15:15:05Z)
Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文参考訳（メタデータ） (2022-05-20T11:37:44Z)
Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文参考訳（メタデータ） (2022-04-25T05:30:26Z)
Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
論文参考訳（メタデータ） (2022-01-28T09:18:43Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
論文参考訳（メタデータ） (2020-11-17T02:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。