論文の概要: Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2405.11614v2
• Date: Wed, 4 Sep 2024 13:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 03:01:22.442123
• Title: Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation
• Title（参考訳）: Nickel and Diming Your GAN: 知識蒸留によるGAN効率向上のためのデュアルメソッドアプローチ
• Authors: Sangyeop Yeo, Yoojin Jang, Jaejun Yoo,
• Abstract要約: 本稿では,資源制約環境下でGANを圧縮する2つの新しい手法を提案する。 DiME と NICKEL はそれぞれ 10.45 と 15.93 の FID スコアを 95.73% と 98.92% の圧縮速度で達成している。 本手法は, 圧縮率99.69%でも生成品質を保ち, 従来の最先端性能を大きく上回っている。
• 参考スコア（独自算出の注目度）: 8.330133104807759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the challenge of compressing generative adversarial networks (GANs) for deployment in resource-constrained environments by proposing two novel methodologies: Distribution Matching for Efficient compression (DiME) and Network Interactive Compression via Knowledge Exchange and Learning (NICKEL). DiME employs foundation models as embedding kernels for efficient distribution matching, leveraging maximum mean discrepancy to facilitate effective knowledge distillation. Simultaneously, NICKEL employs an interactive compression method that enhances the communication between the student generator and discriminator, achieving a balanced and stable compression process. Our comprehensive evaluation on the StyleGAN2 architecture with the FFHQ dataset shows the effectiveness of our approach, with NICKEL & DiME achieving FID scores of 10.45 and 15.93 at compression rates of 95.73% and 98.92%, respectively. Remarkably, our methods sustain generative quality even at an extreme compression rate of 99.69%, surpassing the previous state-of-the-art performance by a large margin. These findings not only demonstrate our methodologies' capacity to significantly lower GANs' computational demands but also pave the way for deploying high-quality GAN models in settings with limited resources. Our code will be released soon.
• Abstract（参考訳）: 本稿では,資源制約された環境におけるGAN(Generative Adversarial Network)を圧縮する上での課題として,DiME(Dis Distribution Matching for Efficient compression)とNICKEL(Network Interactive Compression)の2つの新しい手法を提案する。 DiMEは、効率的な分布マッチングのための埋め込みカーネルとして基礎モデルを採用し、効率的な知識蒸留を促進するために最大平均誤差を活用している。 NICKELは、学生ジェネレータと識別器との通信を強化するインタラクティブ圧縮方式を採用し、バランスよく安定した圧縮プロセスを実現する。 FFHQデータセットによるStyleGAN2アーキテクチャの包括的な評価は、NICKELとDiMEがそれぞれ95.73%と98.92%の圧縮速度で10.45と15.93のFIDスコアを達成し、我々のアプローチの有効性を示している。 本手法は, 圧縮率99.69%でも生成品質を保ち, 従来の最先端性能を大きく上回っている。 これらの知見は,GANの計算要求を大幅に低減する方法論の能力を示すだけでなく,限られたリソースで高品質なGANモデルを配置する方法も示している。 私たちのコードはまもなくリリースされるでしょう。

関連論文リスト

• CoroNetGAN: Controlled Pruning of GANs via Hypernetworks [5.765950477682605]
  ハイパネットワークによる識別可能なプルーニング法を併用したGAN圧縮のためのCoroNet-GANを提案する。 我々の手法はゼブラ・ト・ホセとサマー・ト・ライトのベースラインを上回り、それぞれ32.3と72.3の最良のFIDスコアを達成した。
  論文  参考訳（メタデータ） (2024-03-13T05:24:28Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [52.138754950594375]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Compressing Pre-trained Transformers via Low-Bit NxM Sparsity for Natural Language Understanding [20.75335227098455]
  大規模な事前学習型トランスフォーマーネットワークは、多くの自然言語理解タスクにおいて劇的に改善されている。 NM半構造スパーシリティと低精度整数計算の両方をサポートする新しいハードウェアは、モデル提供効率を高めるための有望な解決策である。 本研究では,同時スペーシフィケーションと量子化を行うフレキシブル圧縮フレームワークNxMiFormerを提案する。
  論文  参考訳（メタデータ） (2022-06-30T04:33:50Z)
• New Perspective on Progressive GANs Distillation for One-class Novelty Detection [21.90786581579228]
  Thecoder-Decoder-Encoder scheme (EDE-GAN) に基づくジェネレーティブ・アドバイサル・ネットワークは最先端の性能を実現する。 新しい技術、P-KDGAN(Progressive Knowledge Distillation with GAN)は、設計された蒸留損失を通じて2つの標準GANを接続する。 2段階のプログレッシブ・ラーニングは、シングルステップ・アプローチよりも成績が向上し、学生のGANのパフォーマンスを継続的に向上させる。
  論文  参考訳（メタデータ） (2021-09-15T13:45:30Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。