論文の概要: HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2411.13548v1
- Date: Wed, 20 Nov 2024 18:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 17:07:49.567973
- Title: HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution
- Title（参考訳）: HF-Diff:1ステップ拡散画像超解像における高周波知覚損失と分布一致
- Authors: Shoaib Meraj Sami, Md Mahedi Hasan, Jeremy Dawson, Nasser Nasrabadi,
- Abstract要約: 我々は、ImageNetデータセット上で事前訓練された可逆ニューラルネットワーク(INN)を利用して、高周波の知覚損失を導入する。
トレーニング期間中,我々は超解像および基底真理(GT)画像の高周波特性の保存を強制する。
我々は、RealSR、RealSet65、DIV2K-Val、ImageNetデータセットで最先端のCLIPIQAスコアを得る。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Although recent diffusion-based single-step super-resolution methods achieve better performance as compared to SinSR, they are computationally complex. To improve the performance of SinSR, we investigate preserving the high-frequency detail features during super-resolution (SR) because the downgraded images lack detailed information. For this purpose, we introduce a high-frequency perceptual loss by utilizing an invertible neural network (INN) pretrained on the ImageNet dataset. Different feature maps of pretrained INN produce different high-frequency aspects of an image. During the training phase, we impose to preserve the high-frequency features of super-resolved and ground truth (GT) images that improve the SR image quality during inference. Furthermore, we also utilize the Jenson-Shannon divergence between GT and SR images in the pretrained DINO-v2 embedding space to match their distribution. By introducing the $\textbf{h}igh$- $\textbf{f}requency$ preserving loss and distribution matching constraint in the single-step $\textbf{diff}usion-based$ SR ($\textbf{HF-Diff}$), we achieve a state-of-the-art CLIPIQA score in the benchmark RealSR, RealSet65, DIV2K-Val, and ImageNet datasets. Furthermore, the experimental results in several datasets demonstrate that our high-frequency perceptual loss yields better SR image quality than LPIPS and VGG-based perceptual losses. Our code will be released at https://github.com/shoaib-sami/HF-Diff.
- Abstract（参考訳）: 最近の拡散型単一ステップ超解法は、SinSRに比べて性能が良いが、計算的に複雑である。
SinSRの性能向上のために,高分解能(SR)における高頻度詳細特徴の保存について検討した。
この目的のために、ImageNetデータセット上に事前トレーニングされた可逆ニューラルネットワーク(INN)を利用することで、高周波の知覚損失を導入する。
事前訓練されたINNの異なる特徴マップは、画像の異なる高周波の側面を生成する。
トレーニング段階では,超解像および基底真理像(GT)の高周波特性を保ち,推論時のSR画像品質を向上させる。
さらに,事前学習したDINO-v2埋め込み空間におけるGTとSR画像間のJenson-Shannonのばらつきを利用して分布を一致させる。
$\textbf{h}igh$- $\textbf{f}requency$ Preserving loss and distribution matching constraintst in the single-step $\textbf{diff}usion-based$ SR ($\textbf{HF-Diff}$, we achieve a state-of-the-art CLIPIQA score in the benchmark RealSR, RealSet65, DIV2K-Val, ImageNet datas。
さらに、いくつかのデータセットで実験した結果、我々の高周波知覚的損失は、LPIPSやVGGに基づく知覚的損失よりもSR画像の品質が向上することが示された。
私たちのコードはhttps://github.com/shoaib-sami/HF-Diff.comでリリースされます。
関連論文リスト
- SING: Semantic Image Communications using Null-Space and INN-Guided Diffusion Models [52.40011613324083]
近年, 無線画像伝送において, 共用音源チャネル符号化システム (DeepJSCC) が顕著な性能を発揮している。
既存の手法では、送信された画像とレシーバーの再構成されたバージョンとの間の歪みを最小限に抑えることに重点を置いており、しばしば知覚的品質を見落としている。
逆問題として,破損した再構成画像から高品質な画像の復元を定式化する新しいフレームワークであるSINGを提案する。
論文 参考訳（メタデータ） (2025-03-16T12:32:11Z) - Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。
拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
論文 参考訳（メタデータ） (2024-10-30T09:14:13Z) - Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
画像超解像(SR)におけるトレーニングデータの効果について検討する。
そこで我々は,自動画像評価パイプラインを提案する。
その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
論文 参考訳（メタデータ） (2024-09-01T16:25:04Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳（メタデータ） (2021-06-01T20:34:52Z) - Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a
Few More Images [12.846479438896338]
事前訓練されたSRネットワークからHR予測の知覚品質を改善するためのシンプルで普遍的なアプローチを提案します。
知覚品質とPSNR/SSIM値の点で、画像に対する微調整の効果を示します。
論文 参考訳（メタデータ） (2021-04-06T16:50:52Z) - UltraSR: Spatial Encoding is a Missing Key for Implicit Image
Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。
空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。
UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
論文 参考訳（メタデータ） (2021-03-23T17:36:42Z) - Hyperspectral Image Super-Resolution with Spectral Mixup and
Heterogeneous Datasets [99.92564298432387]
ハイパースペクトル画像(HSI)超解像(SR)の研究
HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。
これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
論文 参考訳（メタデータ） (2021-01-19T12:19:53Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳（メタデータ） (2020-12-18T08:25:39Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳（メタデータ） (2020-06-18T06:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。