論文の概要: Spectrum Translation for Refinement of Image Generation (STIG) Based on
Contrastive Learning and Spectral Filter Profile
- arxiv url: http://arxiv.org/abs/2403.05093v1
- Date: Fri, 8 Mar 2024 06:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:45:09.828657
- Title: Spectrum Translation for Refinement of Image Generation (STIG) Based on
Contrastive Learning and Spectral Filter Profile
- Title（参考訳）: コントラスト学習とスペクトルフィルタプロファイルに基づく画像生成(stig)の高精度化のためのスペクトル変換
- Authors: Seokjun Lee, Seung-Won Jung and Hyunseok Seo
- Abstract要約: 生成した画像の周波数領域における相違を緩和する枠組みを提案する。
これは、コントラスト学習に基づく画像生成(STIG)の洗練のためのスペクトル変換によって実現される。
我々は,STIGの有効性を実証するために,8つのフェイク画像データセットと様々な最先端モデルにまたがるフレームワークの評価を行った。
- 参考スコア（独自算出の注目度）: 15.5188527312094
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Currently, image generation and synthesis have remarkably progressed with
generative models. Despite photo-realistic results, intrinsic discrepancies are
still observed in the frequency domain. The spectral discrepancy appeared not
only in generative adversarial networks but in diffusion models. In this study,
we propose a framework to effectively mitigate the disparity in frequency
domain of the generated images to improve generative performance of both GAN
and diffusion models. This is realized by spectrum translation for the
refinement of image generation (STIG) based on contrastive learning. We adopt
theoretical logic of frequency components in various generative networks. The
key idea, here, is to refine the spectrum of the generated image via the
concept of image-to-image translation and contrastive learning in terms of
digital signal processing. We evaluate our framework across eight fake image
datasets and various cutting-edge models to demonstrate the effectiveness of
STIG. Our framework outperforms other cutting-edges showing significant
decreases in FID and log frequency distance of spectrum. We further emphasize
that STIG improves image quality by decreasing the spectral anomaly.
Additionally, validation results present that the frequency-based deepfake
detector confuses more in the case where fake spectrums are manipulated by
STIG.
- Abstract（参考訳）: 現在、画像生成と合成は生成モデルによって著しく進歩している。
フォトリアリスティックな結果にもかかわらず、本質的な相違は周波数領域でまだ観察されている。
スペクトル差は, 生成的対向ネットワークだけでなく拡散モデルにも現れた。
本研究では,生成した画像の周波数領域の違いを効果的に軽減し,GANと拡散モデルの両方の生成性能を向上させる枠組みを提案する。
これは、コントラスト学習に基づく画像生成(STIG)の洗練のためのスペクトル変換によって実現される。
様々な生成ネットワークにおける周波数成分の理論論理を採用する。
ここでの重要なアイデアは、デジタル信号処理の観点で画像から画像への変換とコントラスト学習という概念を通して、生成された画像のスペクトルを洗練することだ。
我々は8つのフェイク画像データセットと様々な最先端モデルにまたがるフレームワークを評価し,stigの有効性を実証した。
我々のフレームワークは、FIDとスペクトルの対数周波数距離の顕著な減少を示す他の切断エッジよりも優れている。
さらに,STIGはスペクトル異常を小さくすることで画質を向上させることを強調した。
さらに、STIGにより偽スペクトルを操作した場合、周波数ベースのディープフェイク検出器がより混乱することを示す。
関連論文リスト
- HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。
ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。
本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
論文 参考訳（メタデータ） (2023-10-03T17:42:09Z) - Intriguing properties of synthetic images: from generative adversarial
networks to diffusion models [19.448196464632]
実際の画像と偽画像を区別する上で,どの画像の特徴がより優れているかを知ることが重要である。
本稿では, 実画像と生成画像の最も法学的に関係した特徴を発見することを目的とした, 異なる家系の多数の画像生成装置の系統的研究について報告する。
論文 参考訳（メタデータ） (2023-04-13T11:13:19Z) - Improving GANs for Long-Tailed Data through Group Spectral
Regularization [51.58250647277375]
本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。
我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
論文 参考訳（メタデータ） (2022-08-21T17:51:05Z) - Explicit Use of Fourier Spectrum in Generative Adversarial Networks [0.0]
真正画像のスペクトルと偽画像の間には相違点があることが示される。
本研究では,実画像と偽画像のスペクトルの相違を低減させる新しいモデルを提案する。
生成した画像の品質向上に有望な改善を実験的に示す。
論文 参考訳（メタデータ） (2022-08-02T06:26:44Z) - Simpler is better: spectral regularization and up-sampling techniques
for variational autoencoders [1.2234742322758418]
ニューラルネットワークに基づく生成モデルのスペクトル挙動のキャラクタリゼーションは未解決のままである。
最近の研究は、生成的対向ネットワークと、実画像と生成画像の高周波の相違に重点を置いている。
変分オートエンコーダ(VAE)のための単純な2次元フーリエ変換に基づくスペクトル正規化損失を提案する。
論文 参考訳（メタデータ） (2022-01-19T11:49:57Z) - Exploring the Asynchronous of the Frequency Spectra of GAN-generated
Facial Images [19.126496628073376]
カラーチャネルの非同期周波数スペクトルを探索する新しい手法を提案する。これは、教師なし学習モデルと教師なし学習モデルの両方を訓練し、GANに基づく合成画像の識別に有効である。
実験結果から,周波数領域におけるスペクトルの差は,様々な種類のGAN生成画像の検出に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-12-15T11:34:11Z) - SpectralFormer: Rethinking Hyperspectral Image Classification with
Transformers [91.09957836250209]
ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。
CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。
我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
論文 参考訳（メタデータ） (2021-07-07T02:59:21Z) - Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in
Frequency Domain [88.7339322596758]
本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。
SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
論文 参考訳（メタデータ） (2021-03-02T16:45:08Z) - You Only Need Adversarial Supervision for Semantic Image Synthesis [84.83711654797342]
我々は,高品質な結果を得るためには敵対的監督のみを必要とする,新しい簡易ganモデルを提案する。
本モデルによって合成された画像はより多様であり,実画像の色やテクスチャに密接に従っている。
論文 参考訳（メタデータ） (2020-12-08T23:00:48Z) - Spectral Distribution Aware Image Generation [11.295032417617456]
フォトリアリスティック画像の深部生成モデルは、人間の目で実際の画像と容易に区別できない。
スペクトル判別器を用いて実データの周波数分布に応じて画像を生成することを提案する。
この結果から,実際の周波数スペクトルによる画像生成がより容易であり,検出が困難であることが示唆された。
論文 参考訳（メタデータ） (2020-12-05T19:46:48Z) - Cross-Spectral Periocular Recognition with Conditional Adversarial
Networks [59.17685450892182]
本研究では,近赤外・近赤外スペクトル間の近赤外画像の変換を訓練した条件付き生成逆相関ネットワークを提案する。
EER=1%, GAR>99% @ FAR=1%, ポリUデータベースの最先端技術に匹敵するスペクトル近視性能を得た。
論文 参考訳（メタデータ） (2020-08-26T15:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。