論文の概要: Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold

• arxiv url: http://arxiv.org/abs/2312.14776v1
• Date: Fri, 22 Dec 2023 15:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 14:27:22.763886
• Title: Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold
• Title（参考訳）: 局所密度構造を用いた画像から画像への変換GANの圧縮
• Authors: Alireza Ganjdanesh, Shangqian Gao, Hirad Alipanah, Heng Huang
• Abstract要約: GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。 既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。 学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。 画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 69.33930972652594
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative Adversarial Networks (GANs) have shown remarkable success in modeling complex data distributions for image-to-image translation. Still, their high computational demands prohibit their deployment in practical scenarios like edge devices. Existing GAN compression methods mainly rely on knowledge distillation or convolutional classifiers' pruning techniques. Thus, they neglect the critical characteristic of GANs: their local density structure over their learned manifold. Accordingly, we approach GAN compression from a new perspective by explicitly encouraging the pruned model to preserve the density structure of the original parameter-heavy model on its learned manifold. We facilitate this objective for the pruned model by partitioning the learned manifold of the original generator into local neighborhoods around its generated samples. Then, we propose a novel pruning objective to regularize the pruned model to preserve the local density structure over each neighborhood, resembling the kernel density estimation method. Also, we develop a collaborative pruning scheme in which the discriminator and generator are pruned by two pruning agents. We design the agents to capture interactions between the generator and discriminator by exchanging their peer's feedback when determining corresponding models' architectures. Thanks to such a design, our pruning method can efficiently find performant sub-networks and can maintain the balance between the generator and discriminator more effectively compared to baselines during pruning, thereby showing more stable pruning dynamics. Our experiments on image translation GAN models, Pix2Pix and CycleGAN, with various benchmark datasets and architectures demonstrate our method's effectiveness.
• Abstract（参考訳）: generative adversarial networks (gans) は、画像から画像への変換のための複雑なデータ分布のモデリングにおいて顕著な成功を示している。 それでも、彼らの高い計算要求は、エッジデバイスのような実践的なシナリオへの展開を禁止している。 既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。 したがって、彼らは GAN の臨界特性、すなわちその学習多様体上の局所密度構造を無視している。 そこで,新たな視点からgan圧縮にアプローチし,prunedモデルに学習多様体上の元のパラメータ重モデルの密度構造を保存するよう明示的に促す。 原生成器の学習多様体を生成試料周辺の局所近傍に分割することにより,prunedモデルの目的を達成する。 そこで我々は,カーネル密度推定法に類似した各近傍の局所密度構造を保存するために,プルーニングモデルを定式化する新しいプルーニング目標を提案する。 また, 判別器と生成器を2つのプルーニング剤でプルーニングする協調プルーニングスキームを開発した。 我々は,対応するモデルのアーキテクチャを決定する際に,ピアのフィードバックを交換することで,ジェネレータと識別器の相互作用を捉えるエージェントを設計する。 このような設計により, プルーニング法は高性能サブネットワークを効率よく見つけることができ, プルーニング時のベースラインと比較して, ジェネレータと判別器のバランスをより効率的に維持できる。 画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行った。

関連論文リスト

• One-Shot Adaptation of GAN in Just One CLIP [51.188396199083336]
  本稿では,CLIP空間を統一した単一ショットGAN適応方式を提案する。 具体的には、CLIP誘導潜在最適化を用いて、ソースジェネレータ内の参照画像検索という2段階のトレーニング戦略を採用する。 対象のテクスチャで多様な出力を生成し,質的かつ定量的にベースラインモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T13:03:06Z)
• Hilbert Flattening: a Locality-Preserving Matrix Unfolding Method for Visual Discrimination [51.432453379052724]
  平坦な行列の局所性を維持する革新的な方法としてヒルベルト曲線平坦化を提案する。 また、トークンサンプリングとトークンアグリゲータを組み込んだ視覚変換器アーキテクチャであるLocalformerを導入し、その局所性バイアスを高める。
  論文  参考訳（メタデータ） (2022-02-21T13:53:04Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Top-Down Deep Clustering with Multi-generator GANs [0.0]
  ディープクラスタリング(DC)は、クラスタ分析に最適な埋め込み空間を学習する。 複数のジェネレータ(MGAN)を持つGANをベースとした新しい技術であるHC-MGANを提案する。 本手法は,MGANの各生成元が実データ分布のサブリージョンと相関するデータを生成する傾向にあるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2021-12-06T22:53:12Z)
• Rethinking conditional GAN training: An approach using geometrically structured latent manifolds [58.07468272236356]
  条件付きGAN(cGAN)は、生成された出力の多様性の欠如などの重大な欠点に悩まされる。 本稿では,バニラcGANの多様性と視覚的品質を両立させる新しいトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-11-25T22:54:11Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)
• Optimizing Generative Adversarial Networks for Image Super Resolution via Latent Space Regularization [4.529132742139768]
  GAN(Generative Adversarial Networks)は、多様体内の実画像の分布を学習し、実際のように見えるサンプルを生成する。 本稿では,これらの問題を教師付きGANに対して緩和する方法を探究する。
  論文  参考訳（メタデータ） (2020-01-22T16:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。