論文の概要: On the Frequency Bias of Generative Models
- arxiv url: http://arxiv.org/abs/2111.02447v1
- Date: Wed, 3 Nov 2021 18:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-05 15:02:54.115833
- Title: On the Frequency Bias of Generative Models
- Title（参考訳）: 生成モデルの周波数バイアスについて
- Authors: Katja Schwarz and Yiyi Liao and Andreas Geiger
- Abstract要約: 我々は、最先端のGANトレーニングにおいて、高周波アーティファクトに対する提案手法を解析した。
既存のアプローチでは、スペクトルアーティファクトを完全に解決できないことが分かっています。
以上の結果から,識別能力の向上に大きな可能性があることが示唆された。
- 参考スコア（独自算出の注目度）: 61.60834513380388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key objective of Generative Adversarial Networks (GANs) is to generate
new data with the same statistics as the provided training data. However,
multiple recent works show that state-of-the-art architectures yet struggle to
achieve this goal. In particular, they report an elevated amount of high
frequencies in the spectral statistics which makes it straightforward to
distinguish real and generated images. Explanations for this phenomenon are
controversial: While most works attribute the artifacts to the generator, other
works point to the discriminator. We take a sober look at those explanations
and provide insights on what makes proposed measures against high-frequency
artifacts effective. To achieve this, we first independently assess the
architectures of both the generator and discriminator and investigate if they
exhibit a frequency bias that makes learning the distribution of high-frequency
content particularly problematic. Based on these experiments, we make the
following four observations: 1) Different upsampling operations bias the
generator towards different spectral properties. 2) Checkerboard artifacts
introduced by upsampling cannot explain the spectral discrepancies alone as the
generator is able to compensate for these artifacts. 3) The discriminator does
not struggle with detecting high frequencies per se but rather struggles with
frequencies of low magnitude. 4) The downsampling operations in the
discriminator can impair the quality of the training signal it provides. In
light of these findings, we analyze proposed measures against high-frequency
artifacts in state-of-the-art GAN training but find that none of the existing
approaches can fully resolve spectral artifacts yet. Our results suggest that
there is great potential in improving the discriminator and that this could be
key to match the distribution of the training data more closely.
- Abstract（参考訳）: GAN(Generative Adversarial Networks)の主な目的は、提供されるトレーニングデータと同じ統計値で新しいデータを生成することである。
しかし、最近の複数の研究によって、最先端のアーキテクチャがこの目標を達成するのにまだ苦労していることが示されている。
特に、スペクトル統計において高い周波数が報告され、実画像と生成された画像の区別が容易になる。
この現象の説明は物議を醸している: ほとんどの作品が人工物は生成者に帰属するが、他の作品が判別者を指している。
われわれはこれらの説明を精査し、高周波アーティファクトに対する提案された対策について考察する。
これを実現するために,我々はまず,生成器と判別器の両方のアーキテクチャを独立に評価し,高周波コンテンツの分布を特に問題視する周波数バイアスを示すかどうかを検証した。
これらの実験に基づいて、以下の4つの観察を行う。
1) 異なるアップサンプリング操作は、発生器を異なるスペクトル特性に偏らせる。
2)アップサンプリングによって導入されたチェッカーボードのアーティファクトは,ジェネレータがこれらのアーティファクトを補償できるため,スペクトルの相違だけでは説明できない。
3) 判別器は, 高い周波数を検出するのに苦しむのではなく, 低等級の周波数に苦しむ。
4) 判別器におけるダウンサンプリング操作は、提供される訓練信号の品質を損なうことができる。
これらの結果を踏まえて,最先端ganトレーニングにおける高周波アーチファクトに対する提案手法を分析したが,既存の手法ではスペクトルアーチファクトを完全に解決できないことがわかった。
以上の結果から, 判別器の改良には大きな可能性があり, トレーニングデータの分布に適合する鍵となる可能性が示唆された。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳（メタデータ） (2023-09-14T00:40:07Z) - Investigating and Explaining the Frequency Bias in Image Classification [11.078920943157845]
CNNは人間とは異なる多くの行動を示しており、その1つは高周波成分を用いる能力である。
本稿では,画像分類作業における周波数バイアス現象について論じる。
論文 参考訳（メタデータ） (2022-05-06T11:45:43Z) - Simpler is better: spectral regularization and up-sampling techniques
for variational autoencoders [1.2234742322758418]
ニューラルネットワークに基づく生成モデルのスペクトル挙動のキャラクタリゼーションは未解決のままである。
最近の研究は、生成的対向ネットワークと、実画像と生成画像の高周波の相違に重点を置いている。
変分オートエンコーダ(VAE)のための単純な2次元フーリエ変換に基づくスペクトル正規化損失を提案する。
論文 参考訳（メタデータ） (2022-01-19T11:49:57Z) - Unsupervised Learning Architecture for Classifying the Transient Noise
of Interferometric Gravitational-wave Detectors [2.8555963243398073]
非定常・非ガウス的特徴を持つ過渡雑音は高い速度で発生する。
過渡雑音の分類は、その起源を探索し、検出器の性能を向上させる手がかりを与えることができる。
本研究では,過渡雑音の分類のための教師なし学習アーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-19T05:37:06Z) - A Frequency Perspective of Adversarial Robustness [72.48178241090149]
理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。
分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。
本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
論文 参考訳（メタデータ） (2021-10-26T19:12:34Z) - Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。
フェースフォージェリ検出に高周波雑音を用いることを提案する。
1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。
2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
論文 参考訳（メタデータ） (2021-03-23T08:19:21Z) - Spectral Distribution Aware Image Generation [11.295032417617456]
フォトリアリスティック画像の深部生成モデルは、人間の目で実際の画像と容易に区別できない。
スペクトル判別器を用いて実データの周波数分布に応じて画像を生成することを提案する。
この結果から,実際の周波数スペクトルによる画像生成がより容易であり,検出が困難であることが示唆された。
論文 参考訳（メタデータ） (2020-12-05T19:46:48Z) - WaveTransform: Crafting Adversarial Examples via Input Decomposition [69.01794414018603]
本稿では,低周波サブバンドと高周波サブバンドに対応する逆雑音を生成するWaveTransformを紹介する。
実験により,提案攻撃は防衛アルゴリズムに対して有効であり,CNN間での転送も可能であることが示された。
論文 参考訳（メタデータ） (2020-10-29T17:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。