論文の概要: Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.16643v1
- Date: Mon, 25 Mar 2024 11:29:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 15:08:28.622784
- Title: Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution
- Title(参考訳): アーチファクトフリー超解像のための自己適応型現実誘導拡散
- Authors: Qingping Zheng, Ling Zheng, Yuanfan Guo, Ying Li, Songcen Xu, Jiankang Deng, Hang Xu,
- Abstract要約: アーティファクトフリー・スーパーレゾリューション(SR)は、低解像度画像を、オリジナルコンテンツの厳密な整合性のある高解像度画像に変換することを目的としている。
従来の拡散型SR技術は反復的な手順でアーティファクトを導入する傾向にある。
本稿では,自己適応型現実誘導拡散(Self-Adaptive Reality-Guided Diffusion)を提案する。
- 参考スコア(独自算出の注目度): 47.29558685384506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artifact-free super-resolution (SR) aims to translate low-resolution images into their high-resolution counterparts with a strict integrity of the original content, eliminating any distortions or synthetic details. While traditional diffusion-based SR techniques have demonstrated remarkable abilities to enhance image detail, they are prone to artifact introduction during iterative procedures. Such artifacts, ranging from trivial noise to unauthentic textures, deviate from the true structure of the source image, thus challenging the integrity of the super-resolution process. In this work, we propose Self-Adaptive Reality-Guided Diffusion (SARGD), a training-free method that delves into the latent space to effectively identify and mitigate the propagation of artifacts. Our SARGD begins by using an artifact detector to identify implausible pixels, creating a binary mask that highlights artifacts. Following this, the Reality Guidance Refinement (RGR) process refines artifacts by integrating this mask with realistic latent representations, improving alignment with the original image. Nonetheless, initial realistic-latent representations from lower-quality images result in over-smoothing in the final output. To address this, we introduce a Self-Adaptive Guidance (SAG) mechanism. It dynamically computes a reality score, enhancing the sharpness of the realistic latent. These alternating mechanisms collectively achieve artifact-free super-resolution. Extensive experiments demonstrate the superiority of our method, delivering detailed artifact-free high-resolution images while reducing sampling steps by 2X. We release our code at https://github.com/ProAirVerse/Self-Adaptive-Guidance-Diffusion.git.
- Abstract(参考訳): アーティファクトフリー・スーパーレゾリューション(SR)は、低解像度画像を元の内容の厳密な整合性のある高解像度画像に変換することを目的としており、歪みや合成の詳細を排除している。
従来の拡散型SR技術は、画像の細部を拡大する顕著な能力を示してきたが、反復的な手順でアーティファクトを導入する傾向にある。
このようなアーティファクトは、自明なノイズから不正確なテクスチャまで、原画像の真の構造から逸脱し、超解像過程の完全性に挑戦する。
本研究では,自己適応型現実誘導拡散法(SARGD)を提案する。
我々のSARGDは、アーティファクト検出器を使って不明瞭なピクセルを識別し、アーティファクトをハイライトするバイナリマスクを作成することから始まります。
これに続いて、Real Guidance Refinement (RGR)プロセスは、このマスクを現実的な潜在表現と統合することにより、アーティファクトを洗練し、元のイメージとの整合性を改善する。
それでも、低画質画像からの初期のリアルなラテント表現は、最終的な出力で過度に滑らかになる。
そこで我々は,自己適応誘導(SAG)機構を導入する。
現実のスコアを動的に計算し、現実の潜伏者のシャープさを高める。
これらの交互機構は、集合的にアーティファクトフリーの超解像を達成する。
広範囲にわたる実験により,本手法の優位性を実証し,詳細なアーティファクトフリー高解像度画像を提供するとともに,サンプリング工程を2倍に削減した。
コードをhttps://github.com/ProAirVerse/Self-Adaptive-Guidance-Diffusion.gitでリリースします。
関連論文リスト
- AEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error [15.46508882889489]
計算コストの低い高解像度画像を生成するための重要なイネーブルは、潜時拡散モデル(LDM)の開発である。
LDMは、高次元画像空間の代わりに、事前訓練されたオートエンコーダ(AE)の低次元潜時空間で復調処理を行う。
本稿では,画像と潜時空間間の画像変換に用いるAEという,LDMの固有成分を利用した新しい検出手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:36:49Z) - ENTED: Enhanced Neural Texture Extraction and Distribution for
Reference-based Blind Face Restoration [51.205673783866146]
我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。
劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。
われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
論文 参考訳(メタデータ) (2024-01-13T04:54:59Z) - Pixel-Inconsistency Modeling for Image Manipulation Localization [63.54342601757723]
デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。
本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。
実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
論文 参考訳(メタデータ) (2023-09-30T02:54:51Z) - HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and
Retarget Faces [47.27033282706179]
提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。
提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。
我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
論文 参考訳(メタデータ) (2023-07-20T11:59:42Z) - Creating Realistic Anterior Segment Optical Coherence Tomography Images
using Generative Adversarial Networks [0.0]
Generative Adversarial Network (GAN) は、高解像度でリアルな前部セグメント光コヒーレンス・トモグラフィ(AS-OCT)画像の作成を目的としている。
我々は,142,628 AS- OCT Bスキャンを用いて,スタイルとウェーブレットをベースとしたGANを訓練した。
論文 参考訳(メタデータ) (2023-06-24T20:48:00Z) - Realistic Restorer: artifact-free flow restorer(AF2R) for MRI motion
artifact removal [3.8103327351507255]
運動アーティファクトは画像品質を著しく劣化させ、検査効率を低下させ、正確な診断を困難にする。
それまでの手法は、アーティファクト修正のための暗黙のモデルに頼っていたため、アーティファクト形成機構をモデル化する際のバイアスが生じた。
画像領域のアーティファクトと解剖学的内容の関係を再構築するために、アーティファクト生成機構を組み込んだ。
論文 参考訳(メタデータ) (2023-06-19T04:02:01Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T18:36:45Z) - Identifying Invariant Texture Violation for Robust Deepfake Detection [17.306386179823576]
Invariant Texture Learning frameworkは,低画質で公開されたデータセットにのみアクセスすることができる。
本手法は, 被写体から転写したテクスチャによって, 被写体表面の微視的顔のテクスチャが必然的に侵害されることを前提とした。
論文 参考訳(メタデータ) (2020-12-19T03:02:15Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳(メタデータ) (2020-03-27T21:45:41Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。