論文の概要: Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme

• arxiv url: http://arxiv.org/abs/2110.14439v1
• Date: Wed, 27 Oct 2021 13:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 18:04:47.377798
• Title: Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme
• Title（参考訳）: GAN圧縮における判別器の再検討:発電機識別器協調圧縮方式
• Authors: ShaoJie Li, Jie Wu, Xuefeng Xiao, Fei Chao, Xudong Mao, Rongrong Ji
• Abstract要約: GAN圧縮は、リソース制約のあるエッジデバイスにGANをデプロイする際の計算オーバーヘッドとメモリ使用量を大幅に削減することを目的としている。 本稿では,GAN圧縮における識別器の役割を再考し,GAN圧縮のための新しいジェネレータ-識別器協調圧縮スキームであるGCCを設計する。
• 参考スコア（独自算出の注目度）: 65.5405625485559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, a series of algorithms have been explored for GAN compression, which aims to reduce tremendous computational overhead and memory usages when deploying GANs on resource-constrained edge devices. However, most of the existing GAN compression work only focuses on how to compress the generator, while fails to take the discriminator into account. In this work, we revisit the role of discriminator in GAN compression and design a novel generator-discriminator cooperative compression scheme for GAN compression, termed GCC. Within GCC, a selective activation discriminator automatically selects and activates convolutional channels according to a local capacity constraint and a global coordination constraint, which help maintain the Nash equilibrium with the lightweight generator during the adversarial training and avoid mode collapse. The original generator and discriminator are also optimized from scratch, to play as a teacher model to progressively refine the pruned generator and the selective activation discriminator. A novel online collaborative distillation scheme is designed to take full advantage of the intermediate feature of the teacher generator and discriminator to further boost the performance of the lightweight generator. Extensive experiments on various GAN-based generation tasks demonstrate the effectiveness and generalization of GCC. Among them, GCC contributes to reducing 80% computational costs while maintains comparable performance in image translation tasks. Our code and models are available at \url{https://github.com/SJLeo/GCC}.
• Abstract（参考訳）: 近年,資源制約エッジデバイスにGANをデプロイする際の計算オーバーヘッドとメモリ使用量を大幅に削減することを目的とした,GAN圧縮のための一連のアルゴリズムが検討されている。 しかし、既存のGAN圧縮作業のほとんどはジェネレータの圧縮方法のみに焦点を当てているが、判別器を考慮に入れなかった。 本稿では,GAN圧縮における識別器の役割を再考し,GAN圧縮のための新しいジェネレータ-識別器協調圧縮スキームを設計する。 GCC内では、選択的活性化判別器が局所的容量制約と大域的調整制約に応じて畳み込みチャネルを自動的に選択・活性化し、対向訓練中に軽量発電機とのナッシュ平衡を維持するとともにモード崩壊を回避する。 オリジナルジェネレータと判別器もゼロから最適化され、教師モデルとして機能し、プレナードジェネレータと選択的アクティベーション判別器を段階的に洗練する。 新しいオンライン共同蒸留方式は, 教師生成器と判別器の中間特性を最大限活用し, 軽量発生器の性能をさらに高めるように設計されている。 GANに基づく様々な生成タスクに関する大規模な実験は、GCCの有効性と一般化を実証している。 その中でもGCCは80%の計算コスト削減に寄与し、画像翻訳タスクでは同等のパフォーマンスを維持している。 私たちのコードとモデルは、 \url{https://github.com/SJLeo/GCC}で利用可能です。

関連論文リスト

• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Discriminator-Cooperated Feature Map Distillation for GAN Compression [69.86835014810714]
  そこで本研究では,DCDと略される発明的な識別器協調蒸留を,ジェネレータからより優れた特徴マップを精製するために提案する。 我々のDCDは既存のGAN圧縮法と比較して優れた結果を示した。
  論文  参考訳（メタデータ） (2022-12-29T03:50:27Z)
• Generative Cooperative Networks for Natural Language Generation [25.090455367573988]
  本稿では,リアルテキストのサンプルを出力する生成ポリシーとともに,識別器アーキテクチャを協調的に使用する生成協調ネットワークについて紹介する。 我々は,提案手法の収束を理論的に保証し,2つの主要なNLGタスクにおいて,最先端の成果を実証的に達成するための様々な効率的な復号化手法について検討する。
  論文  参考訳（メタデータ） (2022-01-28T18:36:57Z)
• cGANs with Auxiliary Discriminative Classifier [43.78253518292111]
  条件付き生成モデルは、データとラベルの基本的な結合分布を学習することを目的としている。 副分類器生成敵ネットワーク (AC-GAN) は広く用いられているが, 生成標本のクラス内多様性の低い問題に悩まされている。 本稿では,AC-GANの問題に対処するため,補助識別器(ADC-GAN)を用いた新しいcGANを提案する。
  論文  参考訳（メタデータ） (2021-07-21T13:06:32Z)
• Cycle-free CycleGAN using Invertible Generator for Unsupervised Low-Dose CT Denoising [33.79188588182528]
  CycleGANは低線量X線CT(CT)画像に対して高性能で高速なデノナイジングを提供する。 cycleganは2つのジェネレータと2つの識別器を必要とする。 本論文では,単一発生器と識別器から構成されるサイクルフリーのサイクルGANアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2021-04-17T13:23:36Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• Mode Penalty Generative Adversarial Network with adapted Auto-encoder [0.15229257192293197]
  本稿では,事前学習した自動エンコーダと組み合わされたモードペナルティGANを提案する。 提案手法をGANに適用することにより, ジェネレータの最適化がより安定し, 実験による収束が早くなることを示す。
  論文  参考訳（メタデータ） (2020-11-16T03:39:53Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)
• AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks [98.71508718214935]
  既存のGAN圧縮アルゴリズムは、特定のGANアーキテクチャの処理と損失に限られている。 近年の深部圧縮におけるAutoMLの成功に触発されて,GAN圧縮にAutoMLを導入し,AutoGAN-Distillerフレームワークを開発した。 我々はAGDを画像翻訳と超解像の2つの代表的なGANタスクで評価する。
  論文  参考訳（メタデータ） (2020-06-15T07:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。