論文の概要: SAM-DiffSR: Structure-Modulated Diffusion Model for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2402.17133v1
• Date: Tue, 27 Feb 2024 01:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:14:13.687174
• Title: SAM-DiffSR: Structure-Modulated Diffusion Model for Image Super-Resolution
• Title（参考訳）: SAM-DiffSR:超解像のための構造変調拡散モデル
• Authors: Chengcheng Wang, Zhiwei Hao, Yehui Tang, Jianyuan Guo, Yujie Yang, Kai Han, Yunhe Wang
• Abstract要約: 本稿では,SAM-DiffSRモデルを提案する。このモデルでは,ノイズをサンプリングする過程において,SAMからの微細な構造情報を利用することで,推論時に追加の計算コストを伴わずに画像品質を向上させることができる。 DIV2Kデータセット上でPSNRの最大値で既存の拡散法を0.74dB以上越えることにより,提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 49.205865715776106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based super-resolution (SR) models have recently garnered significant attention due to their potent restoration capabilities. But conventional diffusion models perform noise sampling from a single distribution, constraining their ability to handle real-world scenes and complex textures across semantic regions. With the success of segment anything model (SAM), generating sufficiently fine-grained region masks can enhance the detail recovery of diffusion-based SR model. However, directly integrating SAM into SR models will result in much higher computational cost. In this paper, we propose the SAM-DiffSR model, which can utilize the fine-grained structure information from SAM in the process of sampling noise to improve the image quality without additional computational cost during inference. In the process of training, we encode structural position information into the segmentation mask from SAM. Then the encoded mask is integrated into the forward diffusion process by modulating it to the sampled noise. This adjustment allows us to independently adapt the noise mean within each corresponding segmentation area. The diffusion model is trained to estimate this modulated noise. Crucially, our proposed framework does NOT change the reverse diffusion process and does NOT require SAM at inference. Experimental results demonstrate the effectiveness of our proposed method, showcasing superior performance in suppressing artifacts, and surpassing existing diffusion-based methods by 0.74 dB at the maximum in terms of PSNR on DIV2K dataset. The code and dataset are available at https://github.com/lose4578/SAM-DiffSR.
• Abstract（参考訳）: 拡散に基づく超解像(SR)モデルは、その強力な復元能力のために近年大きな注目を集めている。 しかし、従来の拡散モデルは単一の分布からノイズサンプリングを行い、現実世界のシーンや複雑なテクスチャを扱う能力を制限する。 セグメンテーション・アズ・モデル(SAM)の成功により、十分にきめ細かい領域マスクが生成され、拡散ベースSRモデルの詳細な回復が促進される。 しかし、SAMを直接SRモデルに統合すると、計算コストが大幅に高くなる。 本稿では,SAM-DiffSRモデルを提案する。このモデルでは,ノイズをサンプリングする過程でSAMから微細な構造情報を利用でき,推論時に計算コストを増大させることなく画質を向上させることができる。 トレーニングの過程で、samからセグメンテーションマスクに構造的な位置情報をエンコードする。 次に、符号化マスクをサンプルノイズに変調して前方拡散プロセスに統合する。 この調整により、各セグメンテーション領域内でノイズ平均を独立に適応させることができる。 この変調雑音を推定するために拡散モデルを訓練する。 重要なことは、提案するフレームワークは逆拡散過程を変えず、SAMを推論時に必要としない。 実験結果は,div2kデータセット上でのpsnrの観点で,提案手法の有効性を示し,アーティファクトの抑制に優れた性能を示し,既存の拡散ベース手法を最大0.74db上回った。 コードとデータセットはhttps://github.com/lose4578/SAM-DiffSRで公開されている。

関連論文リスト

• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。 SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。 本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• A Recycling Training Strategy for Medical Image Segmentation with Diffusion Denoising Models [8.649603931882227]
  拡散モデルのデノイングは、画像上に条件付きセグメンテーションマスクを生成することにより、画像セグメンテーションに応用されている。 本研究では, トレーニング戦略の改善に焦点をあて, 新たなリサイクル手法を提案する。 提案手法は,同一のネットワークアーキテクチャと計算予算とを公正に比較し,非拡散型教師付きトレーニングによるリサイクルベース拡散モデルの性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-30T23:03:49Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution [82.50210340928173]
  拡散モデルのランダム性は非効率性と不安定性をもたらすため、SR結果の品質を保証することは困難である。 本稿では,一連の拡散型SR手法の恩恵を受ける可能性を持つプラグアンドプレイサンプリング手法を提案する。 提案手法によりサンプリングされたSR結果の質は, 学習前の拡散ベースSRモデルと同一のランダム性を有する現在の手法でサンプリングされた結果の質より優れる。
  論文  参考訳（メタデータ） (2023-05-24T17:09:54Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration [103.79030498369319]
  ハイパースペクトル画像復元のための自己教師付き拡散モデルを提案する。 textttDDS2Mは、既存の拡散法と比較して、より強力な一般化能力を持っている。 HSIのノイズ除去、ノイズ除去、様々なHSIの超解像実験は、既存のタスク固有状態よりもtextttDDS2Mの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-03-12T14:57:04Z)
• Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods [27.014858633903867]
  拡散モデル(FDiff)の特徴分散のためのトレーニングフレームワークを提案する。 本稿では,拡散モデルの現実性を高め,制御性を高める2つのサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T07:43:00Z)
• A theoretical framework for self-supervised MR image reconstruction using sub-sampling via variable density Noisier2Noise [0.0]
  我々は、Noisier2Noiseフレームワークを使用して、Data UnderSuperviseを介して自己サンプル学習のパフォーマンスを解析的に説明します。 サンプル集合を分割して、サブセットが元のサンプリングマスクと同じ種類の分布を持つようにすることを提案する。
  論文  参考訳（メタデータ） (2022-05-20T16:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。