論文の概要: Training Generative Image Super-Resolution Models by Wavelet-Domain
Losses Enables Better Control of Artifacts
- arxiv url: http://arxiv.org/abs/2402.19215v1
- Date: Thu, 29 Feb 2024 14:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:35:52.123392
- Title: Training Generative Image Super-Resolution Models by Wavelet-Domain
Losses Enables Better Control of Artifacts
- Title（参考訳）: ウェーブレット領域損失による画像超解像モデルの訓練によるアーチファクトの制御の改善
- Authors: Cansu Korkmaz, A. Murat Tekalp, Zafer Dogan
- Abstract要約: 本稿では,実際のHFの詳細とアーティファクトのキャラクタリゼーションを,GANベースSRモデルのトレーニングによりよりよく学習できることを示す。
我々は、RGB画像ではなく、HFウェーブレットサブバンド上でのみ識別器を訓練する。
- 参考スコア（独自算出の注目度）: 6.367865391518726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Super-resolution (SR) is an ill-posed inverse problem, where the size of the
set of feasible solutions that are consistent with a given low-resolution image
is very large. Many algorithms have been proposed to find a "good" solution
among the feasible solutions that strike a balance between fidelity and
perceptual quality. Unfortunately, all known methods generate artifacts and
hallucinations while trying to reconstruct high-frequency (HF) image details. A
fundamental question is: Can a model learn to distinguish genuine image details
from artifacts? Although some recent works focused on the differentiation of
details and artifacts, this is a very challenging problem and a satisfactory
solution is yet to be found. This paper shows that the characterization of
genuine HF details versus artifacts can be better learned by training GAN-based
SR models using wavelet-domain loss functions compared to RGB-domain or
Fourier-space losses. Although wavelet-domain losses have been used in the
literature before, they have not been used in the context of the SR task. More
specifically, we train the discriminator only on the HF wavelet sub-bands
instead of on RGB images and the generator is trained by a fidelity loss over
wavelet subbands to make it sensitive to the scale and orientation of
structures. Extensive experimental results demonstrate that our model achieves
better perception-distortion trade-off according to multiple objective measures
and visual evaluations.
- Abstract（参考訳）: 超解像 (SR) は不測の逆問題であり、与えられた低分解能画像と一致する実現可能な解の集合のサイズは非常に大きい。
多くのアルゴリズムが、忠実性と知覚的品質のバランスをとる、実現可能なソリューションの中で「良い」解決策を見つけるために提案されている。
残念なことに、すべての既知の手法は、高周波(HF)画像の詳細を再構成しながら、人工物や幻覚を生成する。
モデルは、本物の画像の詳細とアーティファクトを区別することを学べますか?
詳細とアーティファクトの区別に焦点を当てた最近の研究はいくつかあるが、これは非常に難しい問題であり、満足のいく解決策はまだ見つからない。
本稿では,実際のhfディテールとアーティファクトのキャラクタリゼーションを,ウェーブレット領域損失関数を用いたganベースのsrモデルを,rgb領域やフーリエ空間損失と比較してよりよく学習できることを示す。
ウェーブレットドメインの損失は文献ではこれまで使われてきたが、SRタスクの文脈では使われていない。
より具体的には、RGB画像の代わりにHFウェーブレットサブバンドでのみ識別器を訓練し、ウェーブレットサブバンド上での忠実度損失により生成器を訓練することにより、構造体のスケールや向きに敏感にすることができる。
複数の客観的尺度と視覚的評価に基づいて,本モデルがより良い知覚・歪曲トレードオフを実現することを示す。
関連論文リスト
- HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution [0.0]
我々は、ImageNetデータセット上で事前訓練された可逆ニューラルネットワーク(INN)を利用して、高周波の知覚損失を導入する。
トレーニング期間中,我々は超解像および基底真理(GT)画像の高周波特性の保存を強制する。
我々は、RealSR、RealSet65、DIV2K-Val、ImageNetデータセットで最先端のCLIPIQAスコアを得る。
論文 参考訳（メタデータ） (2024-11-20T18:56:24Z) - FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。
トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。
推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
論文 参考訳（メタデータ） (2024-08-25T03:53:17Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳（メタデータ） (2022-11-17T17:22:28Z) - Hierarchical Similarity Learning for Aliasing Suppression Image
Super-Resolution [64.15915577164894]
エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。
HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
論文 参考訳（メタデータ） (2022-06-07T14:55:32Z) - FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete
Cosine Transform [16.439669339293747]
単一画像超解像(SISR)は低分解能(LR)入力から高分解能(HR)出力を得ることを目的とした不適切な問題である。
高ピーク信号-雑音比(PSNR)の結果にもかかわらず、モデルが望まれる高周波の詳細を正しく付加するかどうかを判断することは困難である。
本稿では、周波数領域の観点から直感的なパイプラインであるFreqNetを提案し、この問題を解決する。
論文 参考訳（メタデータ） (2021-11-21T11:49:12Z) - Multimodal-Boost: Multimodal Medical Image Super-Resolution using
Multi-Attention Network with Wavelet Transform [5.416279158834623]
対応する画像分解能の喪失は、医用画像診断の全体的な性能を低下させる。
ディープラーニングベースのシングルイメージスーパーレゾリューション(SISR)アルゴリズムは、全体的な診断フレームワークに革命をもたらした。
本研究は,低周波データから高頻度情報を学習する深層マルチアテンションモジュールを用いたGAN(Generative Adversarial Network)を提案する。
論文 参考訳（メタデータ） (2021-10-22T10:13:46Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳（メタデータ） (2021-06-01T20:34:52Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳（メタデータ） (2020-12-18T08:25:39Z) - SRFlow: Learning the Super-Resolution Space with Normalizing Flow [176.07982398988747]
超解像度は、与えられた低解像度画像の複数の予測を可能にするため、不適切な問題である。
出力の条件分布を学習できる正規化フローベース超解法SRFlowを提案する。
我々のモデルは、単一損失、すなわち負のログ類似度を用いて、原則的に訓練されている。
論文 参考訳（メタデータ） (2020-06-25T06:34:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。