論文の概要: HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2411.13548v1
• Date: Wed, 20 Nov 2024 18:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:49.567973
• Title: HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution
• Title（参考訳）: HF-Diff:1ステップ拡散画像超解像における高周波知覚損失と分布一致
• Authors: Shoaib Meraj Sami, Md Mahedi Hasan, Jeremy Dawson, Nasser Nasrabadi,
• Abstract要約: 我々は、ImageNetデータセット上で事前訓練された可逆ニューラルネットワーク(INN)を利用して、高周波の知覚損失を導入する。 トレーニング期間中,我々は超解像および基底真理(GT)画像の高周波特性の保存を強制する。 我々は、RealSR、RealSet65、DIV2K-Val、ImageNetデータセットで最先端のCLIPIQAスコアを得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although recent diffusion-based single-step super-resolution methods achieve better performance as compared to SinSR, they are computationally complex. To improve the performance of SinSR, we investigate preserving the high-frequency detail features during super-resolution (SR) because the downgraded images lack detailed information. For this purpose, we introduce a high-frequency perceptual loss by utilizing an invertible neural network (INN) pretrained on the ImageNet dataset. Different feature maps of pretrained INN produce different high-frequency aspects of an image. During the training phase, we impose to preserve the high-frequency features of super-resolved and ground truth (GT) images that improve the SR image quality during inference. Furthermore, we also utilize the Jenson-Shannon divergence between GT and SR images in the pretrained DINO-v2 embedding space to match their distribution. By introducing the $\textbf{h}igh$- $\textbf{f}requency$ preserving loss and distribution matching constraint in the single-step $\textbf{diff}usion-based$ SR ($\textbf{HF-Diff}$), we achieve a state-of-the-art CLIPIQA score in the benchmark RealSR, RealSet65, DIV2K-Val, and ImageNet datasets. Furthermore, the experimental results in several datasets demonstrate that our high-frequency perceptual loss yields better SR image quality than LPIPS and VGG-based perceptual losses. Our code will be released at https://github.com/shoaib-sami/HF-Diff.
• Abstract（参考訳）: 最近の拡散型単一ステップ超解法は、SinSRに比べて性能が良いが、計算的に複雑である。 SinSRの性能向上のために,高分解能(SR)における高頻度詳細特徴の保存について検討した。 この目的のために、ImageNetデータセット上に事前トレーニングされた可逆ニューラルネットワーク(INN)を利用することで、高周波の知覚損失を導入する。 事前訓練されたINNの異なる特徴マップは、画像の異なる高周波の側面を生成する。 トレーニング段階では,超解像および基底真理像(GT)の高周波特性を保ち,推論時のSR画像品質を向上させる。 さらに,事前学習したDINO-v2埋め込み空間におけるGTとSR画像間のJenson-Shannonのばらつきを利用して分布を一致させる。 $\textbf{h}igh$- $\textbf{f}requency$ Preserving loss and distribution matching constraintst in the single-step $\textbf{diff}usion-based$ SR ($\textbf{HF-Diff}$, we achieve a state-of-the-art CLIPIQA score in the benchmark RealSR, RealSet65, DIV2K-Val, ImageNet datas。 さらに、いくつかのデータセットで実験した結果、我々の高周波知覚的損失は、LPIPSやVGGに基づく知覚的損失よりもSR画像の品質が向上することが示された。 私たちのコードはhttps://github.com/shoaib-sami/HF-Diff.comでリリースされます。

関連論文リスト

• SING: Semantic Image Communications using Null-Space and INN-Guided Diffusion Models [52.40011613324083]
  近年, 無線画像伝送において, 共用音源チャネル符号化システム (DeepJSCC) が顕著な性能を発揮している。 既存の手法では、送信された画像とレシーバーの再構成されたバージョンとの間の歪みを最小限に抑えることに重点を置いており、しばしば知覚的品質を見落としている。 逆問題として,破損した再構成画像から高品質な画像の復元を定式化する新しいフレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2025-03-16T12:32:11Z)
• Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
  E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。 拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
  論文  参考訳（メタデータ） (2024-10-30T09:14:13Z)
• Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
  画像超解像(SR)におけるトレーニングデータの効果について検討する。 そこで我々は,自動画像評価パイプラインを提案する。 その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
  論文  参考訳（メタデータ） (2024-09-01T16:25:04Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• CAMP-Net: Consistency-Aware Multi-Prior Network for Accelerated MRI Reconstruction [4.967600587813224]
  k空間データをMRIでアンサンプすることでスキャン時間が短縮されるが、画像再構成において課題が生じる。 CAMP-Net は,MRI の高速化のためのアンロール型 Consistency-Aware Multi-Prior Network を提案する。
  論文  参考訳（メタデータ） (2023-06-20T02:21:45Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention [16.33443834279481]
  本稿では,De detail-enhanced convolution(DEConv)とContent-guided attention(CGA)を組み合わせたDeep-enhanced attention block(DEAB)を提案する。 これらの成分を組み合わせることで,高品質なヘイズフリー画像を復元するための詳細注意ネットワーク(DEA-Net)を提案する。
  論文  参考訳（メタデータ） (2023-01-12T04:27:22Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
  提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。 フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。 訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
  論文  参考訳（メタデータ） (2021-06-01T20:34:52Z)
• Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a Few More Images [12.846479438896338]
  事前訓練されたSRネットワークからHR予測の知覚品質を改善するためのシンプルで普遍的なアプローチを提案します。 知覚品質とPSNR/SSIM値の点で、画像に対する微調整の効果を示します。
  論文  参考訳（メタデータ） (2021-04-06T16:50:52Z)
• UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
  本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。 空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。 UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2021-03-23T17:36:42Z)
• Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets [99.92564298432387]
  ハイパースペクトル画像(HSI)超解像(SR)の研究 HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。 これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
  論文  参考訳（メタデータ） (2021-01-19T12:19:53Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)
• Investigating Generalization in Neural Networks under Optimally Evolved Training Perturbations [46.8676764079206]
  入力摂動下でのニューラルネットワークの一般化特性について検討する。 いくつかのピクセル修正による最小限のトレーニングデータ破損は、過度な過度なオーバーフィッティングを引き起こす可能性があることを示す。 最適な画素摂動を探索する進化的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-14T14:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。