論文の概要: Focal Frequency Loss for Image Reconstruction and Synthesis
- arxiv url: http://arxiv.org/abs/2012.12821v2
- Date: Sun, 4 Apr 2021 09:20:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 18:14:33.475272
- Title: Focal Frequency Loss for Image Reconstruction and Synthesis
- Title(参考訳): 画像再構成と合成のための焦点周波数損失
- Authors: Liming Jiang, Bo Dai, Wayne Wu, Chen Change Loy
- Abstract要約: 周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
- 参考スコア(独自算出の注目度): 125.7135706352493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image reconstruction and synthesis have witnessed remarkable progress thanks
to the development of generative models. Nonetheless, gaps could still exist
between the real and generated images, especially in the frequency domain. In
this study, we show that narrowing gaps in the frequency domain can ameliorate
image reconstruction and synthesis quality further. We propose a novel focal
frequency loss, which allows a model to adaptively focus on frequency
components that are hard to synthesize by down-weighting the easy ones. This
objective function is complementary to existing spatial losses, offering great
impedance against the loss of important frequency information due to the
inherent bias of neural networks. We demonstrate the versatility and
effectiveness of focal frequency loss to improve popular models, such as VAE,
pix2pix, and SPADE, in both perceptual quality and quantitative performance. We
further show its potential on StyleGAN2.
- Abstract(参考訳): 画像再構成と合成は、生成モデルの開発によって著しく進歩した。
それでも、特に周波数領域において、実画像と生成された画像の間にはギャップが存在する可能性がある。
本研究では,周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本研究では,簡単な周波数重み付けで合成しにくい周波数成分に適応的に焦点を合わせることができる新しい焦点周波数損失を提案する。
この目的関数は、既存の空間的損失を補完するものであり、ニューラルネットワーク固有のバイアスによる重要な周波数情報の損失に対する大きなインピーダンスを提供する。
VAE, pix2pix, SPADEなどの人気モデルの知覚的品質と定量的性能を両立させるために, 焦点周波数損失の汎用性と有効性を示す。
StyleGAN2にその可能性を示す。
関連論文リスト
- Guided Frequency Loss for Image Restoration [0.9821874476902969]
本稿では、画像の周波数内容と空間的コンテンツとをバランスよく学習するのに役立つガイド周波数損失(GFL)を提案する。
学習効率を高めるために並列に動作する3つの主要なコンポーネントを集約する。
その結果、ほとんどの実験でGFL損失はPSNR測定値を改善した。
論文 参考訳(メタデータ) (2023-09-27T10:37:51Z) - Holistic Dynamic Frequency Transformer for Image Fusion and Exposure
Correction [19.088429172840428]
露出関連問題の修正は、画像の品質向上における重要な要素である。
本稿では、周波数領域を利用して露出補正タスクの処理を改善し、統一する新しい手法を提案する。
提案手法は, 露光補正においてより高度で統一された解を実現する方法である。
論文 参考訳(メタデータ) (2023-09-03T14:09:14Z) - Spatial-Frequency U-Net for Denoising Diffusion Probabilistic Models [89.76587063609806]
画素空間の代わりにウェーブレット空間における拡散確率モデル(DDPM)を視覚合成のために検討した。
ウェーブレット信号を明示的にモデル化することで、我々のモデルは複数のデータセット上でより高品質な画像を生成することができる。
論文 参考訳(メタデータ) (2023-07-27T06:53:16Z) - Catch Missing Details: Image Reconstruction with Frequency Augmented
Variational Autoencoder [27.149365819904745]
高い圧縮速度は、ピクセル空間の詳細を反映した高周波数スペクトル上での視覚信号の損失を増大させる。
周波数補修モジュール (FCM) アーキテクチャを提案し, 欠落した周波数情報を捕捉し, 復元品質を向上する。
CAT (Cross-attention Autoregressive Transformer) はテキスト中のより正確な意味的属性を得るために提案されている。
論文 参考訳(メタデータ) (2023-05-04T04:30:21Z) - Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis [82.31272171857623]
オーバフィッティングから高周波数のニューラルフィールドを規則化するために、低周波ニューラルフィールドを利用する。
数発の入力に過度に適合しないよう、周波数を調整するための簡単なyet- Effective戦略を提案する。
論文 参考訳(メタデータ) (2023-03-15T05:15:21Z) - DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier
Convolution for Low-light Image Enhancement [1.2645663389012574]
低照度画像の高精細化は、低照度画像から通常の露光画像を復元することを目的とした古典的なコンピュータビジョン問題である。
この分野でよく使われる畳み込みニューラルネットワークは、空間領域の低周波局所構造の特徴をサンプリングするのに長けている。
周波数位相のセマンティクスの制約の下で高品質なテクスチャの詳細を復元できるフーリエ係数を用いた新しいモジュールを提案する。
論文 参考訳(メタデータ) (2022-09-16T13:56:09Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳(メタデータ) (2022-07-04T02:27:07Z) - WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。
WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。
低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
論文 参考訳(メタデータ) (2021-07-23T04:44:40Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Joint Frequency and Image Space Learning for MRI Reconstruction and
Analysis [7.821429746599738]
本稿では、周波数空間データから再構成するための汎用的なビルディングブロックとして、周波数と画像の特徴表現を明示的に組み合わせたニューラルネットワーク層が利用できることを示す。
提案した共同学習方式により、周波数空間に固有のアーティファクトの補正と画像空間表現の操作を両立させ、ネットワークのすべての層でコヒーレントな画像構造を再構築することができる。
論文 参考訳(メタデータ) (2020-07-02T23:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。