論文の概要: Feature Quantization Improves GAN Training

• arxiv url: http://arxiv.org/abs/2004.02088v2
• Date: Wed, 15 Jul 2020 00:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 11:59:34.180402
• Title: Feature Quantization Improves GAN Training
• Title（参考訳）: 機能量子化はGANトレーニングを改善する
• Authors: Yang Zhao, Chunyuan Li, Ping Yu, Jianfeng Gao, Changyou Chen
• Abstract要約: 識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
• 参考スコア（独自算出の注目度）: 126.02828112121874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The instability in GAN training has been a long-standing problem despite remarkable research efforts. We identify that instability issues stem from difficulties of performing feature matching with mini-batch statistics, due to a fragile balance between the fixed target distribution and the progressively generated distribution. In this work, we propose Feature Quantization (FQ) for the discriminator, to embed both true and fake data samples into a shared discrete space. The quantized values of FQ are constructed as an evolving dictionary, which is consistent with feature statistics of the recent distribution history. Hence, FQ implicitly enables robust feature matching in a compact space. Our method can be easily plugged into existing GAN models, with little computational overhead in training. We apply FQ to 3 representative GAN models on 9 benchmarks: BigGAN for image generation, StyleGAN for face synthesis, and U-GAT-IT for unsupervised image-to-image translation. Extensive experimental results show that the proposed FQ-GAN can improve the FID scores of baseline methods by a large margin on a variety of tasks, achieving new state-of-the-art performance.
• Abstract（参考訳）: GANトレーニングの不安定性は、驚くべき研究努力にもかかわらず、長年にわたる問題である。 不安定性問題は,固定された目標分布と漸進的に生成される分布との脆弱なバランスのために,ミニバッチ統計と機能マッチングが難しいことに起因する。 本研究では,実データと偽データの両方を共有離散空間に埋め込むために,識別器の特徴量化(FQ)を提案する。 FQの量子化値は、最近の分布履歴の特徴統計と一致する進化的辞書として構成される。 したがって、FQはコンパクト空間におけるロバストな特徴マッチングを可能にする。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドが少ない。 画像生成用BigGAN,顔合成用StyleGAN,教師なし画像-画像変換用U-GAT-ITの3つのベンチマークにFQを適用した。 実験の結果,FQ-GANは,様々なタスクに対する大きなマージンでベースライン手法のFIDスコアを向上し,新しい最先端性能を実現することができた。

関連論文リスト

• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Deep Boosting Multi-Modal Ensemble Face Recognition with Sample-Level Weighting [11.39204323420108]
  深層畳み込みニューラルネットワークは顔認識において顕著な成功を収めた。 現在のトレーニングベンチマークは、不均衡な品質分布を示している。 これは、訓練中に不足しているため、ハードサンプルの一般化に問題を引き起こす。 有名なAdaBoostにインスパイアされた本研究では、FR損失に異なるサンプルの重要性を組み込むためのサンプルレベルの重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T01:44:54Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs [24.18718734850797]
  Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。 対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。 偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-18T14:23:38Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout [16.250862114257277]
  ニューラルネットワークにおける知識の順序付きネスト表現を実現するメカニズムであるOrdered Dropoutを紹介します。 我々は,この手法と自己蒸留手法を,FjORDと呼ばれるフレームワークでフェデレートラーニングの領域に導入する。 FjORDは、ネストされた構造を維持しながら、最先端のベースラインよりもパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2021-02-26T13:07:43Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。