論文の概要: MGHF: Multi-Granular High-Frequency Perceptual Loss for Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2411.13548v2
- Date: Mon, 23 Jun 2025 03:08:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 14:54:00.122331
- Title: MGHF: Multi-Granular High-Frequency Perceptual Loss for Image Super-Resolution
- Title(参考訳): MGHF:超解像のためのマルチグラニュラー高周波知覚損失
- Authors: Shoaib Meraj Sami, Md Mahedi Hasan, Mohammad Saeed Ebrahimi Saadabadi, Jeremy Dawson, Nasser Nasrabadi, Raghuveer Rao,
- Abstract要約: Invertible Neural Network (INN) ベースのナイーブな textbfMulti-textbfGranular textbfHigh-textbfFrequency (MGHF-n) パーセプチュアルな損失をImageNet でトレーニングし,これらの問題を克服する手法を提案する。
複数の視点にまたがって情報を保存し、優先順位付けし、調整するための、いくつかの制約のある包括的なフレームワークを開発する。
- 参考スコア(独自算出の注目度): 0.3958317527488535
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While different variants of perceptual losses have been employed in super-resolution literature to synthesize more realistic, appealing, and detailed high-resolution images, most are convolutional neural networks-based, causing information loss during guidance and often relying on complicated architectures and training procedures. We propose an invertible neural network (INN)-based naive \textbf{M}ulti-\textbf{G}ranular \textbf{H}igh-\textbf{F}requency (MGHF-n) perceptual loss trained on ImageNet to overcome these issues. Furthermore, we develop a comprehensive framework (MGHF-c) with several constraints to preserve, prioritize, and regularize information across multiple perspectives: texture and style preservation, content preservation, regional detail preservation, and joint content-style regularization. Information is prioritized through adaptive entropy-based pruning and reweighting of INN features. We utilize Gram matrix loss for style preservation and mean-squared error loss for content preservation. Additionally, we propose content-style consistency through correlation loss to regulate unnecessary texture generation while preserving content information. Since small image regions may contain intricate details, we employ modulated PatchNCE in the INN features as a local information preservation objective. Extensive experiments on various super-resolution algorithms, including GAN- and diffusion-based methods, demonstrate that our MGHF framework significantly improves performance. After the review process, our code will be released in the public repository.
- Abstract(参考訳): 知覚的損失のさまざまなバリエーションは、より現実的で魅力的で詳細な高解像度の画像を合成するために、超高解像度の文献で採用されているが、その多くは畳み込みニューラルネットワークに基づくものであり、誘導中に情報損失を引き起こし、複雑なアーキテクチャや訓練手順に依存することが多い。
Invertible neural network (INN)-based naive \textbf{M}ulti-\textbf{G}ranular \textbf{H}igh-\textbf{F}requency (MGHF-n) perceptual loss training on ImageNet。
さらに, テクスチャとスタイルの保存, コンテンツ保存, 地域的詳細保存, 共同コンテンツスタイルの正規化など, 情報の保存, 優先, 規則化に制約のある包括的フレームワーク (MGHF-c) を開発した。
情報は、適応的なエントロピーベースのプルーニングと INN 機能の再重み付けによって優先順位付けされる。
我々は,グラム行列の損失をスタイル保存と平均二乗誤差損失に利用し,コンテンツ保存に役立てる。
また,コンテンツ情報を保存しながら不要なテクスチャ生成を抑えるために,相関損失によるコンテンツスタイルの整合性を提案する。
局所的な情報保存の目的として,小型画像領域は複雑な情報を含む可能性があるため,INN特徴量に変調されたPatchNCEを用いる。
GAN法や拡散法など,多種多様な超解像アルゴリズムに関する大規模な実験により,MGHFフレームワークが性能を著しく向上することを示した。
レビュープロセスの後、私たちのコードはパブリックリポジトリでリリースされます。
関連論文リスト
- SING: Semantic Image Communications using Null-Space and INN-Guided Diffusion Models [52.40011613324083]
近年, 無線画像伝送において, 共用音源チャネル符号化システム (DeepJSCC) が顕著な性能を発揮している。
既存の手法では、送信された画像とレシーバーの再構成されたバージョンとの間の歪みを最小限に抑えることに重点を置いており、しばしば知覚的品質を見落としている。
逆問題として,破損した再構成画像から高品質な画像の復元を定式化する新しいフレームワークであるSINGを提案する。
論文 参考訳(メタデータ) (2025-03-16T12:32:11Z) - Latent Diffusion, Implicit Amplification: Efficient Continuous-Scale Super-Resolution for Remote Sensing Images [7.920423405957888]
E$2$DiffSRは、最先端のSR手法と比較して、客観的な指標と視覚的品質を達成する。
拡散に基づくSR法の推論時間を非拡散法と同程度のレベルに短縮する。
論文 参考訳(メタデータ) (2024-10-30T09:14:13Z) - Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
画像超解像(SR)におけるトレーニングデータの効果について検討する。
そこで我々は,自動画像評価パイプラインを提案する。
その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
論文 参考訳(メタデータ) (2024-09-01T16:25:04Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a
Few More Images [12.846479438896338]
事前訓練されたSRネットワークからHR予測の知覚品質を改善するためのシンプルで普遍的なアプローチを提案します。
知覚品質とPSNR/SSIM値の点で、画像に対する微調整の効果を示します。
論文 参考訳(メタデータ) (2021-04-06T16:50:52Z) - UltraSR: Spatial Encoding is a Missing Key for Implicit Image
Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。
空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。
UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
論文 参考訳(メタデータ) (2021-03-23T17:36:42Z) - Hyperspectral Image Super-Resolution with Spectral Mixup and
Heterogeneous Datasets [99.92564298432387]
ハイパースペクトル画像(HSI)超解像(SR)の研究
HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。
これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
論文 参考訳(メタデータ) (2021-01-19T12:19:53Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳(メタデータ) (2020-12-18T08:25:39Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳(メタデータ) (2020-06-18T06:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。