論文の概要: WaveGAN: Frequency-aware GAN for High-Fidelity Few-shot Image Generation
- arxiv url: http://arxiv.org/abs/2207.07288v1
- Date: Fri, 15 Jul 2022 04:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 21:51:12.572543
- Title: WaveGAN: Frequency-aware GAN for High-Fidelity Few-shot Image Generation
- Title(参考訳): WaveGAN:高精細画像生成のための周波数対応GAN
- Authors: Mengping Yang, Zhe Wang, Ziqiu Chi, Wenyi Feng
- Abstract要約: 本稿では,数ショット画像生成のための周波数認識モデルであるWaveGANを提案する。
我々は、高周波スキップ接続を用いることで、細部を合成するジェネレータの苦労を軽減する。
FID 42.17, LPIPS 0.3868, FID 30.35, LPIPS 0.5076, FID 4.96, LPIPS 0.3822をそれぞれ, フラワー, アニマルフェイス, VGGFaceで実現した。
- 参考スコア(独自算出の注目度): 3.5459430566117893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing few-shot image generation approaches typically employ fusion-based
strategies, either on the image or the feature level, to produce new images.
However, previous approaches struggle to synthesize high-frequency signals with
fine details, deteriorating the synthesis quality. To address this, we propose
WaveGAN, a frequency-aware model for few-shot image generation. Concretely, we
disentangle encoded features into multiple frequency components and perform
low-frequency skip connections to preserve outline and structural information.
Then we alleviate the generator's struggles of synthesizing fine details by
employing high-frequency skip connections, thus providing informative frequency
information to the generator. Moreover, we utilize a frequency L1-loss on the
generated and real images to further impede frequency information loss.
Extensive experiments demonstrate the effectiveness and advancement of our
method on three datasets. Noticeably, we achieve new state-of-the-art with FID
42.17, LPIPS 0.3868, FID 30.35, LPIPS 0.5076, and FID 4.96, LPIPS 0.3822
respectively on Flower, Animal Faces, and VGGFace. GitHub:
https://github.com/kobeshegu/ECCV2022_WaveGAN
- Abstract(参考訳): 既存の少数の画像生成アプローチでは、通常、新しい画像を生成するために、画像または特徴レベルの融合ベースの戦略を用いる。
しかし、従来の手法では高周波信号の微細な合成に苦慮し、合成品質を低下させた。
そこで我々は,数ショット画像生成のための周波数認識モデルWaveGANを提案する。
具体的には、符号化された特徴を複数の周波数成分に分解し、低周波スキップ接続を行い、アウトラインと構造情報を保存する。
そして、高周波スキップ接続を用いて細部を合成する際の発電機の苦労を軽減し、発電機に情報伝達周波数情報を提供する。
また、生成画像及び実画像の周波数l1ロスを利用して、さらに周波数情報損失を阻害する。
3つのデータセットに対して,本手法の有効性と進歩を示す実験を行った。
FID 42.17, LPIPS 0.3868, FID 30.35, LPIPS 0.5076, FID 4.96, LPIPS 0.3822をそれぞれ花、動物顔、VGGFaceで実現した。
GitHub:https://github.com/kobeshegu/ECCV2022_WaveGAN
関連論文リスト
- Local Implicit Wavelet Transformer for Arbitrary-Scale Super-Resolution [15.610136214020947]
暗黙の神経表現は、最近、画像の任意のスケールの超解像(SR)において有望な可能性を証明している。
既存のほとんどの手法は、クエリされた座標と近くの特徴のアンサンブルに基づいて、SR画像中のピクセルを予測する。
本稿では,高周波テクスチャの再現性を高めるために,LIWT(Local Implicit Wavelet Transformer)を提案する。
論文 参考訳(メタデータ) (2024-11-10T12:21:14Z) - Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement [7.891750065129094]
ウェーブレット領域から導出される2つの重要な洞察に基づく新しいアプローチであるWave-Mambaを提案する。
提案手法は優れた性能を示し, 従来の先行技術を大きく上回っている。
論文 参考訳(メタデータ) (2024-08-02T14:01:34Z) - WaveDH: Wavelet Sub-bands Guided ConvNet for Efficient Image Dehazing [20.094839751816806]
画像デハージングにおけるこの効率ギャップに対処するために設計された,新規でコンパクトなConvNetであるWaveDHを紹介する。
我々のWaveDHはウェーブレットサブバンドを利用して、誘導型アップ・アンド・ダウンサンプリングと周波数認識機能の改良を行う。
提案手法であるWaveDHは,計算コストを大幅に削減した画像デハージングベンチマークにおいて,最先端の多くの手法より優れている。
論文 参考訳(メタデータ) (2024-04-02T02:52:05Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - L-WaveBlock: A Novel Feature Extractor Leveraging Wavelets for
Generative Adversarial Networks [0.0]
本稿では,離散ウェーブレット変換(DWT)と深層学習手法を併用した,新規で堅牢な特徴抽出器L-WaveBlockを紹介する。
L-WaveBlockは、GANジェネレータの収束を迅速にし、同時に性能を向上する。
本稿では,道路衛星画像データセット,CelebAデータセット,GoProデータセットの3つのデータセットにまたがるL-WaveBlockの顕著な有用性を示す。
論文 参考訳(メタデータ) (2023-11-09T17:47:32Z) - WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。
WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
論文 参考訳(メタデータ) (2023-08-09T09:24:56Z) - Wavelet Knowledge Distillation: Towards Efficient Image-to-Image
Translation [22.841122397104265]
本稿では,周波数から見たGANの性能について検討する。
その結果, GAN, 特に小型 GAN は高品質な高周波情報を生成できないことがわかった。
本稿ではウェーブレット知識蒸留と呼ばれる新しい知識蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-12T02:42:04Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳(メタデータ) (2021-08-03T12:26:33Z) - WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。
WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。
低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
論文 参考訳(メタデータ) (2021-07-23T04:44:40Z) - Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
論文 参考訳(メタデータ) (2020-12-23T17:32:04Z) - Wavelet Integrated CNNs for Noise-Robust Image Classification [51.18193090255933]
我々は、離散ウェーブレット変換(DWT)により、最大プール、ストライド畳み込み、平均プールを置き換えることでCNNを強化する。
VGG、ResNets、DenseNetのウェーブレット統合バージョンであるWaveCNetsは、バニラバージョンよりも精度が高く、ノイズ・ロバスト性も向上している。
論文 参考訳(メタデータ) (2020-05-07T09:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。