論文の概要: Adaptive Multi-modal Fusion of Spatially Variant Kernel Refinement with
Diffusion Model for Blind Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.05808v1
- Date: Sat, 9 Mar 2024 06:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:24:35.741494
- Title: Adaptive Multi-modal Fusion of Spatially Variant Kernel Refinement with
Diffusion Model for Blind Image Super-Resolution
- Title（参考訳）: Blind Image Super-Resolutionのための拡散モデルを用いた空間可変カーネル微細化の適応多モード融合
- Authors: Junxiong Lin, Yan Wang, Zeng Tao, Boyang Wang, Qing Zhao, Haorang
Wang, Xuan Tong, Xinji Mai, Yuxuan Lin, Wei Song, Jiawen Yu, Shaoqi Yan and
Wenqiang Zhang
- Abstract要約: 我々は,Blind Image textbfSuper-textbfResolution (SSR)のための拡散モデルを用いた適応多モード融合(Adaptive Multi-modal Fusion of textbfSpatially Variant Kernel Refinement with Diffusion Model)を提案する。
また,アダプティブ・マルチモーダル・フュージョン (AMF) モジュールを導入し,低解像度画像,深度マップ,ぼかしカーネルといった3つのモードからの情報を整列させる。
- 参考スコア（独自算出の注目度）: 23.91717678248522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained diffusion models utilized for image generation encapsulate a
substantial reservoir of a priori knowledge pertaining to intricate textures.
Harnessing the potential of leveraging this a priori knowledge in the context
of image super-resolution presents a compelling avenue. Nonetheless, prevailing
diffusion-based methodologies presently overlook the constraints imposed by
degradation information on the diffusion process. Furthermore, these methods
fail to consider the spatial variability inherent in the estimated blur kernel,
stemming from factors such as motion jitter and out-of-focus elements in
open-environment scenarios. This oversight results in a notable deviation of
the image super-resolution effect from fundamental realities. To address these
concerns, we introduce a framework known as Adaptive Multi-modal Fusion of
\textbf{S}patially Variant Kernel Refinement with Diffusion Model for Blind
Image \textbf{S}uper-\textbf{R}esolution (SSR). Within the SSR framework, we
propose a Spatially Variant Kernel Refinement (SVKR) module. SVKR estimates a
Depth-Informed Kernel, which takes the depth information into account and is
spatially variant. Additionally, SVKR enhance the accuracy of depth information
acquired from LR images, allowing for mutual enhancement between the depth map
and blur kernel estimates. Finally, we introduce the Adaptive Multi-Modal
Fusion (AMF) module to align the information from three modalities:
low-resolution images, depth maps, and blur kernels. This alignment can
constrain the diffusion model to generate more authentic SR results.
Quantitative and qualitative experiments affirm the superiority of our
approach, while ablation experiments corroborate the effectiveness of the
modules we have proposed.
- Abstract（参考訳）: 画像生成に利用した事前学習拡散モデルは、複雑なテクスチャに関連する事前知識のかなりの蓄積をカプセル化する。
画像超解像の文脈において、これを事前知識として活用する可能性を秘めていることは、説得力のある道である。
しかし,現在普及している拡散法は拡散過程の劣化情報による制約を無視している。
さらに、これらの手法は、開環境シナリオにおける動きのジッタや焦点のずれといった要因から生じる、推定されたぼけカーネルに固有の空間変動を考慮できない。
この見落としは、基本的な現実から画像の超解像効果を著しく逸脱させる。
これらの問題に対処するために,Blind Image \textbf{S}uper-\textbf{R}esolution (SSR) のための拡散モデルを用いた適応多モード融合(Adaptive Multi-modal Fusion of \textbf{S}patially Variant Kernel Refinement) というフレームワークを導入する。
SSRフレームワーク内では,空間可変カーネルリファインメント(SVKR)モジュールを提案する。
SVKRは深度情報を考慮に入れ、空間的に不変である深度インフォームドカーネルを推定する。
さらに、SVKRはLR画像から取得した深度情報の精度を高め、深度マップとぼやけたカーネル推定との相互強化を可能にする。
最後に,アダプティブ・マルチモーダル・フュージョン (AMF) モジュールを導入し,低解像度画像,深度マップ,ぼかしカーネルといった3つのモードからの情報を整列させる。
このアライメントは拡散モデルを制約し、より正確なSR結果を生成する。
定量的および定性的な実験は我々のアプローチの優位性を確認し、アブレーション実験は我々が提案したモジュールの有効性を裏付けるものである。
関連論文リスト
- Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。
既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。
本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
論文 参考訳（メタデータ） (2024-11-15T08:36:24Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。
BlindDiffはMAPベースの最適化をDMにシームレスに統合する。
合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2024-03-15T11:21:34Z) - Mitigating Data Consistency Induced Discrepancy in Cascaded Diffusion Models for Sparse-view CT Reconstruction [4.227116189483428]
本研究は, 離散性緩和フレームワークを用いた新規なカスケード拡散について紹介する。
潜在空間の低画質画像生成と画素空間の高画質画像生成を含む。
これは、いくつかの推論ステップをピクセル空間から潜在空間に移すことによって計算コストを最小化する。
論文 参考訳（メタデータ） (2024-03-14T12:58:28Z) - Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。
我々は、その固有のODE-軌道の正規化を提唱する。
実験により,提案手法は低照度化において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-10-26T17:01:52Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - SPIRiT-Diffusion: Self-Consistency Driven Diffusion Model for Accelerated MRI [14.545736786515837]
本稿では,k空間の拡散モデルであるSPIRiT-Diffusionを紹介する。
3次元頭蓋内および頸動脈壁画像データセットを用いたSPIRiT-Diffusion法の評価を行った。
論文 参考訳（メタデータ） (2023-04-11T08:43:52Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳（メタデータ） (2023-03-29T07:02:20Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳（メタデータ） (2023-03-13T04:06:42Z) - Mutual Affine Network for Spatially Variant Kernel Estimation in Blind
Image Super-Resolution [130.32026819172256]
既存のブラインド画像超解像法(SR)は、ぼやけたカーネルが画像全体にわたって空間的に不変であると仮定する。
本稿では,空間変動カーネル推定のための相互アフィンネットワーク(MANet)を提案する。
論文 参考訳（メタデータ） (2021-08-11T16:11:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。