論文の概要: SSL: A Self-similarity Loss for Improving Generative Image Super-resolution

• arxiv url: http://arxiv.org/abs/2408.05713v2
• Date: Mon, 19 Aug 2024 02:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 23:45:42.812947
• Title: SSL: A Self-similarity Loss for Improving Generative Image Super-resolution
• Title（参考訳）: SSL: 生成画像の超高解像度化のための自己相似損失
• Authors: Du Chen, Zhengqiang Zhang, Jie Liang, Lei Zhang,
• Abstract要約: 生成逆数ネットワーク(GAN)と生成拡散モデル(DM)は、実世界の画像超解像(Real-ISR)で広く利用されている。 これらの生成モデルは、視覚的アーティファクトや偽画像構造を生成する傾向があり、不自然なリアルISRの結果をもたらす。 本稿では, 生成実ISRモデルの性能向上のために, 単純かつ効果的な自己相似性損失(SSL)を提案する。
• 参考スコア（独自算出の注目度）: 11.94842557256442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative adversarial networks (GAN) and generative diffusion models (DM) have been widely used in real-world image super-resolution (Real-ISR) to enhance the image perceptual quality. However, these generative models are prone to generating visual artifacts and false image structures, resulting in unnatural Real-ISR results. Based on the fact that natural images exhibit high self-similarities, i.e., a local patch can have many similar patches to it in the whole image, in this work we propose a simple yet effective self-similarity loss (SSL) to improve the performance of generative Real-ISR models, enhancing the hallucination of structural and textural details while reducing the unpleasant visual artifacts. Specifically, we compute a self-similarity graph (SSG) of the ground-truth image, and enforce the SSG of Real-ISR output to be close to it. To reduce the training cost and focus on edge areas, we generate an edge mask from the ground-truth image, and compute the SSG only on the masked pixels. The proposed SSL serves as a general plug-and-play penalty, which could be easily applied to the off-the-shelf Real-ISR models. Our experiments demonstrate that, by coupling with SSL, the performance of many state-of-the-art Real-ISR models, including those GAN and DM based ones, can be largely improved, reproducing more perceptually realistic image details and eliminating many false reconstructions and visual artifacts. Codes and supplementary material can be found at https://github.com/ChrisDud0257/SSL
• Abstract（参考訳）: 生成逆数ネットワーク(GAN)と生成拡散モデル(DM)は、画像の知覚品質を高めるために現実世界の超解像(Real-ISR)で広く利用されている。 しかし、これらの生成モデルは視覚的アーティファクトや虚像構造を生成する傾向があり、不自然なリアルISRの結果をもたらす。 本研究は,自然画像が高自己相似性を示すこと,すなわち局所的なパッチが全体像に類似したパッチを多数持っていることを踏まえ,生成リアルISRモデルの性能向上のための簡易かつ効果的な自己相似性損失(SSL)を提案し,構造的およびテクスチャ的詳細性の幻覚性を高めつつ,不愉快な視覚的アーティファクトを低減させる。 具体的には、地上構造画像の自己相似性グラフ(SSG)を計算し、その近傍にReal-ISR出力のSSGを強制する。 トレーニングコストを削減し,エッジ領域に注力するため,地中画像からエッジマスクを生成し,マスク付き画素のみにSSGを演算する。 提案されたSSLは一般的なプラグアンドプレイペナルティとして機能し、既製のReal-ISRモデルにも容易に適用できる。 我々の実験は、SSLと組み合わせることで、GANやDMなど、最先端のReal-ISRモデルの性能を大幅に改善し、より知覚的にリアルな画像の詳細を再現し、多くの偽の再構築や視覚的アーティファクトを排除できることを示した。 コードと補足資料はhttps://github.com/ChrisDud0257/SSLで確認できる。

関連論文リスト

• Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution [47.29558685384506]
  アーティファクトフリー・スーパーレゾリューション(SR)は、低解像度画像を、オリジナルコンテンツの厳密な整合性のある高解像度画像に変換することを目的としている。 従来の拡散型SR技術は反復的な手順でアーティファクトを導入する傾向にある。 本稿では,自己適応型現実誘導拡散(Self-Adaptive Reality-Guided Diffusion)を提案する。
  論文  参考訳（メタデータ） (2024-03-25T11:29:19Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
  本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。 また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
  論文  参考訳（メタデータ） (2023-09-09T14:11:37Z)
• Pixel-Aware Stable Diffusion for Realistic Image Super-resolution and Personalized Stylization [23.723573179119228]
  本稿では,高機能なReal-ISRとパーソナライズされた画像スタイリングを実現するために,画素対応安定拡散(PASD)ネットワークを提案する。 画素単位の画像局所構造を知覚する拡散モデルを実現するために、画素対応クロスアテンションモジュールを導入する。 補正可能なノイズスケジュールを導入し、画像復元結果をさらに改善する。
  論文  参考訳（メタデータ） (2023-08-28T10:15:57Z)
• From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution [72.68156760273578]
  実世界の低品質(LQ)画像の超解像のためのトレーニングペアを設計する。 我々は、劣化認識とコンテンツ非依存の表現を明示的に予測するために、HQとLQの顔画像のペアを入力とする。 次に、これらの実際の劣化表現を顔から自然画像に転送し、劣化したLQ自然画像を合成する。
  論文  参考訳（メタデータ） (2022-10-03T08:09:21Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• Real-World Super-Resolution of Face-Images from Surveillance Cameras [25.258587196435464]
  本稿では,現実的なLR/HRトレーニングペアを生成するための新しいフレームワークを提案する。 本フレームワークは、実写のぼやけたカーネル、ノイズ分布、JPEG圧縮アーチファクトを推定し、ソース領域のものと類似した画像特性を持つLR画像を生成する。 我々はGANベースのSRモデルを用いて、よく使われるVGG-loss[24]とLPIPS-loss[52]を交換した。
  論文  参考訳（メタデータ） (2021-02-05T11:38:30Z)
• Learning Structral coherence Via Generative Adversarial Network for Single Image Super-Resolution [13.803141755183827]
  近年,GAN(Generative Adversarial Network)に基づくSISR法により,全体の現実的SR画像が得られた。 SRプロセスにおける高分解能勾配図の復元により構造情報を保存するため, 発電機に勾配分岐を導入する。 さらに、U-netベースの判別器を用いて、画像全体と画素ごとの詳細な認証の両方について検討する。
  論文  参考訳（メタデータ） (2021-01-25T15:26:23Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。