論文の概要: Discriminator-Cooperated Feature Map Distillation for GAN Compression

• arxiv url: http://arxiv.org/abs/2212.14169v1
• Date: Thu, 29 Dec 2022 03:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 16:42:00.263640
• Title: Discriminator-Cooperated Feature Map Distillation for GAN Compression
• Title（参考訳）: GAN圧縮のための識別器協調型特徴マップ蒸留
• Authors: Tie Hu, Mingbao Lin, Lizhou You, Fei Chao, Rongrong Ji
• Abstract要約: そこで本研究では,DCDと略される発明的な識別器協調蒸留を,ジェネレータからより優れた特徴マップを精製するために提案する。 我々のDCDは既存のGAN圧縮法と比較して優れた結果を示した。
• 参考スコア（独自算出の注目度）: 69.86835014810714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite excellent performance in image generation, Generative Adversarial Networks (GANs) are notorious for its requirements of enormous storage and intensive computation. As an awesome ''performance maker'', knowledge distillation is demonstrated to be particularly efficacious in exploring low-priced GANs. In this paper, we investigate the irreplaceability of teacher discriminator and present an inventive discriminator-cooperated distillation, abbreviated as DCD, towards refining better feature maps from the generator. In contrast to conventional pixel-to-pixel match methods in feature map distillation, our DCD utilizes teacher discriminator as a transformation to drive intermediate results of the student generator to be perceptually close to corresponding outputs of the teacher generator. Furthermore, in order to mitigate mode collapse in GAN compression, we construct a collaborative adversarial training paradigm where the teacher discriminator is from scratch established to co-train with student generator in company with our DCD. Our DCD shows superior results compared with existing GAN compression methods. For instance, after reducing over 40x MACs and 80x parameters of CycleGAN, we well decrease FID metric from 61.53 to 48.24 while the current SoTA method merely has 51.92. This work's source code has been made accessible at https://github.com/poopit/DCD-official.
• Abstract（参考訳）: 画像生成の性能は優れているが、GAN(Generative Adversarial Networks)は膨大なストレージと集約的な計算を必要とすることで有名である。 素晴らしい「パフォーマンスメーカー」として、低価格のGANの探索には知識蒸留が特に有効であることが示されている。 本稿では,教師の識別器の非置換性について検討し,DCDと略される発明的識別器協調蒸留を発電機からより優れた特徴マップの精製に向けて提案する。 特徴写像蒸留における従来の画素対画素マッチング法とは対照的に,DCDでは,教師識別器を変換として利用し,教師生成装置の中間結果を教師生成装置の出力に知覚的に近接させる。 さらに,gan圧縮のモード崩壊を緩和するために,教師識別器をスクラッチから構築し,生徒生成装置と協調して学習する協調学習パラダイムを構築した。 我々のDCDは既存のGAN圧縮法と比較して優れた結果を示した。 例えば、CycleGAN の 40x MAC と 80x パラメータを減らした後、現在の SoTA 法は 51.92 であるのに対して、FID の計量は 61.53 から 48.24 に減少する。 この作業のソースコードはhttps://github.com/poopit/DCD-officialで公開されている。

関連論文リスト

• SD-DiT: Unleashing the Power of Self-supervised Discrimination in Diffusion Transformer [102.39050180060913]
  拡散変換器(DiT)は画像生成における生成拡散モデルの新たなトレンドとして登場した。 最近のブレークスルーは、画像内文脈学習を追加することで、DiTのトレーニング効率を大幅に改善するマスク戦略によって推進されている。 本研究は,DiTトレーニングを促進するための自己監督的識別知識を新たに開放することで,これらの制約に対処する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:35Z)
• Exploring Content Relationships for Distilling Efficient GANs [69.86835014810714]
  本稿では,過剰パラメータ生成逆数ネットワーク(GAN)に対処するコンテンツ関係蒸留(CRD)を提案する。 従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を細粒度にスライスすることで,新しいGAN圧縮指向の知識を設計する。 提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器と共同訓練した場合の更新を継続し,生徒生成器と共同訓練した場合の凍結を継続し,より良い対人訓練を行う。
  論文  参考訳（メタデータ） (2022-12-21T15:38:12Z)
• Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme [65.5405625485559]
  GAN圧縮は、リソース制約のあるエッジデバイスにGANをデプロイする際の計算オーバーヘッドとメモリ使用量を大幅に削減することを目的としている。 本稿では,GAN圧縮における識別器の役割を再考し,GAN圧縮のための新しいジェネレータ-識別器協調圧縮スキームであるGCCを設計する。
  論文  参考訳（メタデータ） (2021-10-27T13:54:55Z)
• Online Multi-Granularity Distillation for GAN Compression [17.114017187236836]
  GAN(Generative Adversarial Networks)は、優れた画像の獲得に成功している。 GANは、計算コストの最小化とメモリ使用の急激さにより、リソースに制約のあるデバイスにデプロイするのは難しい。 本稿では, 軽量なGANを得るために, オンライン多粒度蒸留方式を提案する。
  論文  参考訳（メタデータ） (2021-08-16T05:49:50Z)
• Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation [130.30465659190773]
  Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。 DMADと呼ばれる新しいGAN圧縮手法を提案する。 実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
  論文  参考訳（メタデータ） (2020-11-17T02:39:19Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。