論文の概要: Spatial Frequency Bias in Convolutional Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2010.01473v3
- Date: Fri, 18 Dec 2020 08:43:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 03:22:15.035611
- Title: Spatial Frequency Bias in Convolutional Generative Adversarial Networks
- Title（参考訳）: 畳み込み生成逆数ネットワークにおける空間周波数バイアス
- Authors: Mahyar Khayatkhoei, Ahmed Elgammal
- Abstract要約: 畳み込みGANが分布を学習する能力は、下層のキャリア信号の空間周波数に大きく影響していることを示す。
このバイアスは、単に自然画像における高頻度の欠如の結果であるだけでなく、データセットの優位性に関わらず、高頻度の学習を妨げる体系的バイアスであることを示す。
- 参考スコア（独自算出の注目度）: 14.564246294896396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the success of Generative Adversarial Networks (GANs) on natural images
quickly propels them into various real-life applications across different
domains, it becomes more and more important to clearly understand their
limitations. Specifically, understanding GANs' capability across the full
spectrum of spatial frequencies, i.e. beyond the low-frequency dominant
spectrum of natural images, is critical for assessing the reliability of GAN
generated data in any detail-sensitive application (e.g. denoising, filling and
super-resolution in medical and satellite images). In this paper, we show that
the ability of convolutional GANs to learn a distribution is significantly
affected by the spatial frequency of the underlying carrier signal, that is,
GANs have a bias against learning high spatial frequencies. Crucially, we show
that this bias is not merely a result of the scarcity of high frequencies in
natural images, rather, it is a systemic bias hindering the learning of high
frequencies regardless of their prominence in a dataset. Furthermore, we
explain why large-scale GANs' ability to generate fine details on natural
images does not exclude them from the adverse effects of this bias. Finally, we
propose a method for manipulating this bias with minimal computational
overhead. This method can be used to explicitly direct computational resources
towards any specific spatial frequency of interest in a dataset, extending the
flexibility of GANs.
- Abstract（参考訳）: 自然画像におけるGAN(Generative Adversarial Networks)の成功が、様々な領域にわたる様々な実生活アプリケーションに急速に普及するにつれ、それらの制限を明確に理解することがますます重要になる。
特に、自然画像の低周波支配スペクトルを超えて、空間周波数の全スペクトル、すなわち、GANの能力を理解することは、詳細に敏感なアプリケーション(例えば、医療や衛星画像におけるノイズ、補充、超解像)において、GAN生成データの信頼性を評価するために重要である。
本稿では,GANが分布を学習する能力は,基礎となるキャリア信号の空間周波数,すなわち高空間周波数の学習に対するバイアスに大きく影響していることを示す。
重要なのは、このバイアスは、自然画像における高周波の不足の結果であるだけでなく、データセットにおける高周波数の学習を妨げるシステムバイアスであることを示している。
さらに, 自然画像の微細な詳細を生成できる大規模GANの能力が, このバイアスの悪影響を排除できない理由を説明する。
最後に,このバイアスを最小の計算オーバーヘッドで操作する方法を提案する。
この手法は、データセットの特定の空間周波数に計算資源を明示的に向けることで、GANの柔軟性を拡張できる。
関連論文リスト
- FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。
トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。
推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
論文 参考訳（メタデータ） (2024-08-25T03:53:17Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳（メタデータ） (2022-12-01T20:15:15Z) - FreGAN: Exploiting Frequency Components for Training GANs under Limited
Data [3.5459430566117893]
限られたデータの下でのGANのトレーニングは、しばしば差別者が過度に適合し、記憶する問題を引き起こす。
本稿では、FreGANを提案する。FreGANは、モデルの周波数認識を高め、高周波信号の生成により多くの注意を払っている。
実画像と生成画像の両方の周波数情報を活用することに加えて、実画像の周波数信号を自己監督的制約として含む。
論文 参考訳（メタデータ） (2022-10-11T14:02:52Z) - On the Frequency Bias of Generative Models [61.60834513380388]
我々は、最先端のGANトレーニングにおいて、高周波アーティファクトに対する提案手法を解析した。
既存のアプローチでは、スペクトルアーティファクトを完全に解決できないことが分かっています。
以上の結果から,識別能力の向上に大きな可能性があることが示唆された。
論文 参考訳（メタデータ） (2021-11-03T18:12:11Z) - Spectral Bias in Practice: The Role of Function Frequency in
Generalization [10.7218588164913]
現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。
一般化するネットワークは、データの適合に十分な複雑さを持つと同時に、過度な適合を避けるのに十分な単純さとバランスをとっています。
我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にする。
論文 参考訳（メタデータ） (2021-10-06T00:16:10Z) - Low-Rank Subspaces in GANs [101.48350547067628]
この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。
LowRankGAN は属性多様体の低次元表現を見つけることができる。
さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
論文 参考訳（メタデータ） (2021-06-08T16:16:32Z) - Are High-Frequency Components Beneficial for Training of Generative
Adversarial Networks [11.226288436817956]
GAN(Generative Adversarial Networks)は、実際の画像と視覚的に区別できない現実的な画像を生成する能力を持つ。
画像スペクトルの最近の研究は、生成画像と実画像が高周波で有意な差を持つことを示した。
GAN訓練における高周波差を除去する2つの前処理手法を提案する。
論文 参考訳（メタデータ） (2021-03-20T04:37:06Z) - Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
論文 参考訳（メタデータ） (2020-12-23T17:32:04Z) - Local Convolutions Cause an Implicit Bias towards High Frequency
Adversarial Examples [15.236551149698496]
敵攻撃は依然としてニューラルネットワークにとって重要な課題である。
近年の研究では、逆行性摂動は一般的に高周波の特徴を含むことが示されている。
我々は、現在のニューラルネットワークで一般的に使用される局所的な(すなわち有界幅)畳み込み操作は、暗黙的にバイアスを受け、高周波の特徴を学習する、という仮説を立てる。
論文 参考訳（メタデータ） (2020-06-19T23:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。