論文の概要: GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework

• arxiv url: http://arxiv.org/abs/2008.11062v1
• Date: Tue, 25 Aug 2020 14:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 02:59:05.428843
• Title: GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework
• Title（参考訳）: GANスリム化:統一最適化フレームワークによるオールインワンGAN圧縮
• Authors: Haotao Wang, Shupeng Gui, Haichuan Yang, Ji Liu, Zhangyang Wang
• Abstract要約: 本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
• 参考スコア（独自算出の注目度）: 94.26938614206689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs) have gained increasing popularity in various computer vision applications, and recently start to be deployed to resource-constrained mobile devices. Similar to other deep models, state-of-the-art GANs suffer from high parameter complexities. That has recently motivated the exploration of compressing GANs (usually generators). Compared to the vast literature and prevailing success in compressing deep classifiers, the study of GAN compression remains in its infancy, so far leveraging individual compression techniques instead of more sophisticated combinations. We observe that due to the notorious instability of training GANs, heuristically stacking different compression techniques will result in unsatisfactory results. To this end, we propose the first unified optimization framework combining multiple compression means for GAN compression, dubbed GAN Slimming (GS). GS seamlessly integrates three mainstream compression techniques: model distillation, channel pruning and quantization, together with the GAN minimax objective, into one unified optimization form, that can be efficiently optimized from end to end. Without bells and whistles, GS largely outperforms existing options in compressing image-to-image translation GANs. Specifically, we apply GS to compress CartoonGAN, a state-of-the-art style transfer network, by up to 47 times, with minimal visual quality degradation. Codes and pre-trained models can be found at https://github.com/TAMU-VITA/GAN-Slimming.
• Abstract（参考訳）: generative adversarial networks (gans) は様々なコンピュータビジョンアプリケーションで人気が高まり、最近はリソースに制約されたモバイルデバイスにデプロイされるようになった。 他の深層モデルと同様に、最先端のganは高いパラメータの複雑さに苦しむ。 これは最近gan(通常はジェネレータ)を圧縮する探検の動機となった。 深層分類器の圧縮に成功している膨大な文献と比較すると、GAN圧縮の研究はまだ初期段階にあり、より洗練された組み合わせではなく個々の圧縮技術を活用している。 GANのトレーニングの不安定さが悪名高いため、異なる圧縮テクニックをヒューリスティックに積み重ねることで、満足できない結果が得られます。 そこで本稿では,GAN Slimming (GS) と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 GSは、モデル蒸留、チャネルプルーニング、量子化の3つの主要な圧縮技術と、GANのミニマックス目標を1つの統一最適化形式に統合し、終端から終端まで効率的に最適化することができる。 ベルとホイッスルがなければ、GSは画像から画像への変換のGANを圧縮する既存の選択肢よりも優れている。 具体的には、GSを用いて、最先端の転送ネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。 コードと事前訓練されたモデルはhttps://github.com/TAMU-VITA/GAN-Slimmingで見ることができる。

関連論文リスト

• Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
  3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。 FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T15:13:08Z)
• Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
  本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。 提案手法では,ResNet34の計算コストを最大859倍に削減する。 我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
  論文  参考訳（メタデータ） (2024-03-26T07:26:00Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Content-Aware GAN Compression [33.83749494060526]
  generative adversarial networks (gans) は様々な画像生成および合成タスクにおいて重要な役割を果たす。 その高い計算コストは、エッジデバイスへの効率的なデプロイを妨げる。 非条件のGAN圧縮に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-06T02:23:56Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)
• AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks [68.58179110398439]
  既存のGAN圧縮アルゴリズムは、特定のGANアーキテクチャの処理と損失に限られている。 近年の深部圧縮におけるAutoMLの成功に触発されて,GAN圧縮にAutoMLを導入し,AutoGAN-Distillerフレームワークを開発した。 我々はAGDを画像翻訳と超解像の2つの代表的なGANタスクで評価する。
  論文  参考訳（メタデータ） (2020-06-15T07:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。