論文の概要: CoroNetGAN: Controlled Pruning of GANs via Hypernetworks
- arxiv url: http://arxiv.org/abs/2403.08261v1
- Date: Wed, 13 Mar 2024 05:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:15:50.899244
- Title: CoroNetGAN: Controlled Pruning of GANs via Hypernetworks
- Title（参考訳）: CoroNetGAN: HypernetworksによるGANのプルング制御
- Authors: Aman Kumar, Khushboo Anand, Shubham Mandloi, Ashutosh Mishra, Avinash
Thakur, Neeraj Kasera, Prathosh A P
- Abstract要約: ハイパネットワークによる識別可能なプルーニング法を併用したGAN圧縮のためのCoroNet-GANを提案する。
我々の手法はゼブラ・ト・ホセとサマー・ト・ライトのベースラインを上回り、それぞれ32.3と72.3の最良のFIDスコアを達成した。
- 参考スコア（独自算出の注目度）: 5.765950477682605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Adversarial Networks (GANs) have proven to exhibit remarkable
performance and are widely used across many generative computer vision
applications. However, the unprecedented demand for the deployment of GANs on
resource-constrained edge devices still poses a challenge due to huge number of
parameters involved in the generation process. This has led to focused
attention on the area of compressing GANs. Most of the existing works use
knowledge distillation with the overhead of teacher dependency. Moreover, there
is no ability to control the degree of compression in these methods. Hence, we
propose CoroNet-GAN for compressing GAN using the combined strength of
differentiable pruning method via hypernetworks. The proposed method provides
the advantage of performing controllable compression while training along with
reducing training time by a substantial factor. Experiments have been done on
various conditional GAN architectures (Pix2Pix and CycleGAN) to signify the
effectiveness of our approach on multiple benchmark datasets such as
Edges-to-Shoes, Horse-to-Zebra and Summer-to-Winter. The results obtained
illustrate that our approach succeeds to outperform the baselines on
Zebra-to-Horse and Summer-to-Winter achieving the best FID score of 32.3 and
72.3 respectively, yielding high-fidelity images across all the datasets.
Additionally, our approach also outperforms the state-of-the-art methods in
achieving better inference time on various smart-phone chipsets and data-types
making it a feasible solution for deployment on edge devices.
- Abstract（参考訳）: Generative Adversarial Networks (GAN) は優れた性能を示し、多くのジェネレーティブコンピュータビジョンアプリケーションで広く利用されている。
しかし、リソース制約のあるエッジデバイスへのGANの展開に対する前例のない需要は、生成プロセスに関わる膨大なパラメータのため、依然として課題となっている。
これにより、GANの圧縮領域に注意が向けられた。
現存する作品の多くは、教師依存のオーバーヘッドを伴う知識蒸留を使用している。
さらに,これらの手法では圧縮の程度を制御できない。
そこで我々は,ハイパネットワークによる識別可能な刈り出し方式の組合せ強度を用いて,GANを圧縮するためのCoroNet-GANを提案する。
提案手法は、トレーニング中に制御可能な圧縮を行い、トレーニング時間を大幅に短縮する。
様々な条件付きGANアーキテクチャ(Pix2PixとCycleGAN)で、Edges-to-Shoes、Horse-to-Zebra、Summer-to-Winterといった複数のベンチマークデータセットに対するアプローチの有効性を示す実験が行われた。
その結果,Zebra-to-HorseとSummer-to-Winterのベースラインをそれぞれ32.3と72.3のFIDスコアで上回り,全データセットで高忠実度画像が得られることがわかった。
さらに,我々のアプローチは,さまざまなスマートフォンチップセットやデータ型に対する推論時間を向上し,エッジデバイス上でのデプロイが可能なソリューションとして,最先端の手法よりも優れています。
関連論文リスト
- GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
グラフ拡散型ソリューション生成(GDSG)法を提案する。
このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。
グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
論文 参考訳（メタデータ） (2024-12-11T11:13:43Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation [8.330133104807759]
本稿では,資源制約環境下でGANを圧縮する2つの新しい手法を提案する。
DiME と NICKEL はそれぞれ 10.45 と 15.93 の FID スコアを 95.73% と 98.92% の圧縮速度で達成している。
本手法は, 圧縮率99.69%でも生成品質を保ち, 従来の最先端性能を大きく上回っている。
論文 参考訳（メタデータ） (2024-05-19T17:09:43Z) - DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。
本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。
提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
論文 参考訳（メタデータ） (2023-05-24T07:59:44Z) - Exploring Content Relationships for Distilling Efficient GANs [69.86835014810714]
本稿では,過剰パラメータ生成逆数ネットワーク(GAN)に対処するコンテンツ関係蒸留(CRD)を提案する。
従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を細粒度にスライスすることで,新しいGAN圧縮指向の知識を設計する。
提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器と共同訓練した場合の更新を継続し,生徒生成器と共同訓練した場合の凍結を継続し,より良い対人訓練を行う。
論文 参考訳（メタデータ） (2022-12-21T15:38:12Z) - DRAGON: Decentralized Fault Tolerance in Edge Federations [13.864161788250856]
我々は、新しいメモリ効率のディープラーニングベースモデル、すなわち生成最適化ネットワーク(GON)を提案する。
GONは入力とサンプルを区別するために単一のネットワークを使用し、メモリフットプリントを大幅に削減する。
本稿では,エッジフェデレーションの性能を迅速に予測し,最適化するためにシミュレーションを実行するDRAGONと呼ばれる分散型フォールトトレランス手法を提案する。
論文 参考訳（メタデータ） (2022-08-16T10:40:28Z) - Hardware-Efficient Deconvolution-Based GAN for Edge Computing [1.5229257192293197]
Generative Adversarial Networks (GAN) は、学習したデータ分布に基づいて新しいデータサンプルを生成する最先端のアルゴリズムである。
我々は、スケーラブルなストリーミングデータフローアーキテクチャを用いてFPGA上に実装された量子化デコンボリューションGAN(QDCGAN)のトレーニングのためのHW/SW共同設計手法を提案する。
リソース制約のあるプラットフォーム上での低消費電力推論のために,様々な精度,データセット,ネットワークスケーラビリティを解析した。
論文 参考訳（メタデータ） (2022-01-18T11:16:59Z) - Learning Efficient GANs for Image Translation via Differentiable Masks
and co-Attention Distillation [130.30465659190773]
Generative Adversarial Networks (GAN) は画像翻訳において広く利用されているが、その高い計算とストレージコストがモバイルデバイスへの展開を妨げる。
DMADと呼ばれる新しいGAN圧縮手法を提案する。
実験の結果、DMADはCycleGANのMultiply Accumulate Operations (MAC)を13倍、Pix2Pixを4倍削減し、フルモデルに匹敵する性能を維持することができた。
論文 参考訳（メタデータ） (2020-11-17T02:39:19Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs [104.85633684716296]
判別器の冷凍下層を有するGANの簡易微調整が驚くほど良好であることを示す。
この単純なベースラインであるFreezeDは、非条件GANと条件GANの両方で使用されている従来の技術よりも大幅に優れている。
論文 参考訳（メタデータ） (2020-02-25T15:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。