論文の概要: Adaptive Multi-modal Fusion of Spatially Variant Kernel Refinement with Diffusion Model for Blind Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.05808v2
- Date: Tue, 9 Jul 2024 15:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 23:41:10.348722
- Title: Adaptive Multi-modal Fusion of Spatially Variant Kernel Refinement with Diffusion Model for Blind Image Super-Resolution
- Title（参考訳）: Blind Image Super-Resolutionのための拡散モデルを用いた空間可変カーネル微細化の適応多モード核融合
- Authors: Junxiong Lin, Yan Wang, Zeng Tao, Boyang Wang, Qing Zhao, Haorang Wang, Xuan Tong, Xinji Mai, Yuxuan Lin, Wei Song, Jiawen Yu, Shaoqi Yan, Wenqiang Zhang,
- Abstract要約: 我々は,Blind Image textbfSuper-textbfResolutionのための拡散モデルを用いた適応多モード固定法(Adaptive Multi-modal Fusion of textbfSpatially Variant Kernel Refinement with Diffusion Model)を提案する。
また,アダプティブ・マルチモーダル・フュージョン (AMF) モジュールを導入し,低解像度画像,深度マップ,ぼかしカーネルといった3つのモードからの情報を整列させる。
- 参考スコア（独自算出の注目度）: 23.34647832483913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained diffusion models utilized for image generation encapsulate a substantial reservoir of a priori knowledge pertaining to intricate textures. Harnessing the potential of leveraging this a priori knowledge in the context of image super-resolution presents a compelling avenue. Nonetheless, prevailing diffusion-based methodologies presently overlook the constraints imposed by degradation information on the diffusion process. Furthermore, these methods fail to consider the spatial variability inherent in the estimated blur kernel, stemming from factors such as motion jitter and out-of-focus elements in open-environment scenarios. This oversight results in a notable deviation of the image super-resolution effect from fundamental realities. To address these concerns, we introduce a framework known as Adaptive Multi-modal Fusion of \textbf{S}patially Variant Kernel Refinement with Diffusion Model for Blind Image \textbf{S}uper-\textbf{R}esolution (SSR). Within the SSR framework, we propose a Spatially Variant Kernel Refinement (SVKR) module. SVKR estimates a Depth-Informed Kernel, which takes the depth information into account and is spatially variant. Additionally, SVKR enhance the accuracy of depth information acquired from LR images, allowing for mutual enhancement between the depth map and blur kernel estimates. Finally, we introduce the Adaptive Multi-Modal Fusion (AMF) module to align the information from three modalities: low-resolution images, depth maps, and blur kernels. This alignment can constrain the diffusion model to generate more authentic SR results.
- Abstract（参考訳）: 画像生成に利用した事前学習拡散モデルは、複雑なテクスチャに関連する事前知識のかなりの蓄積をカプセル化する。
画像超解像の文脈において、これを事前知識として活用する可能性を秘めていると、説得力のある道のりが提示される。
しかし,現在普及している拡散法は拡散過程の劣化情報によって課される制約を無視している。
さらに、これらの手法は、開環境シナリオにおける動きジッタやアウト・オブ・フォーカス要素などの要因から生じる、推定されたぼやけたカーネルに固有の空間的変動を考慮できない。
この監視により、画像の超解像効果は基本的な現実から顕著に逸脱する。
これらの問題に対処するため,Blind Image \textbf{S}uper-\textbf{R}esolution (SSR) のための拡散モデルを用いた適応多モード融合(Adaptive Multi-modal Fusion of \textbf{S}patially Variant Kernel Refinement with Diffusion Model for Blind Image \textbf{S}uper-\textbf{R}esolution) というフレームワークを導入する。
SSRフレームワーク内では,空間可変カーネルリファインメント (SVKR) モジュールを提案する。
SVKRは深度情報を考慮に入れ、空間的に不変である深度インフォームドカーネルを推定する。
さらに、SVKRはLR画像から取得した深度情報の精度を高め、深度マップとぼやけたカーネル推定との相互強化を可能にする。
最後に,アダプティブ・マルチモーダル・フュージョン (AMF) モジュールを導入し,低解像度画像,深度マップ,ぼかしカーネルといった3つのモードからの情報を整列させる。
このアライメントは拡散モデルを制約し、より正確なSR結果を生成する。
関連論文リスト
- Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。
既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。
本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
論文 参考訳（メタデータ） (2024-11-15T08:36:24Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。
BlindDiffはMAPベースの最適化をDMにシームレスに統合する。
合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2024-03-15T11:21:34Z) - Mitigating Data Consistency Induced Discrepancy in Cascaded Diffusion Models for Sparse-view CT Reconstruction [4.227116189483428]
本研究は, 離散性緩和フレームワークを用いた新規なカスケード拡散について紹介する。
潜在空間の低画質画像生成と画素空間の高画質画像生成を含む。
これは、いくつかの推論ステップをピクセル空間から潜在空間に移すことによって計算コストを最小化する。
論文 参考訳（メタデータ） (2024-03-14T12:58:28Z) - Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。
我々は、その固有のODE-軌道の正規化を提唱する。
実験により,提案手法は低照度化において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-10-26T17:01:52Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - SPIRiT-Diffusion: Self-Consistency Driven Diffusion Model for Accelerated MRI [14.545736786515837]
本稿では,k空間の拡散モデルであるSPIRiT-Diffusionを紹介する。
3次元頭蓋内および頸動脈壁画像データセットを用いたSPIRiT-Diffusion法の評価を行った。
論文 参考訳（メタデータ） (2023-04-11T08:43:52Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳（メタデータ） (2023-03-29T07:02:20Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳（メタデータ） (2023-03-13T04:06:42Z) - Mutual Affine Network for Spatially Variant Kernel Estimation in Blind
Image Super-Resolution [130.32026819172256]
既存のブラインド画像超解像法(SR)は、ぼやけたカーネルが画像全体にわたって空間的に不変であると仮定する。
本稿では,空間変動カーネル推定のための相互アフィンネットワーク(MANet)を提案する。
論文 参考訳（メタデータ） (2021-08-11T16:11:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。