論文の概要: DiffSCI: Zero-Shot Snapshot Compressive Imaging via Iterative Spectral Diffusion Model

• arxiv url: http://arxiv.org/abs/2311.11417v1
• Date: Sun, 19 Nov 2023 20:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:32:18.253361
• Title: DiffSCI: Zero-Shot Snapshot Compressive Imaging via Iterative Spectral Diffusion Model
• Title（参考訳）: DiffSCI:反復スペクトル拡散モデルによるゼロショットスナップショット圧縮イメージング
• Authors: Zhenghao Pan, Haijin Zeng, Jiezhang Cao, Kai Zhang, Yongyong Chen
• Abstract要約: マルチスペクトル画像(MSI)におけるスナップショット圧縮画像(SCI)再構成の精度向上を目指した。 DiffSCIと呼ばれる新しいゼロショット拡散モデルを提案する。 我々は,DiffSCIが自己監督的,ゼロショット的アプローチよりも顕著な性能向上を示すことを示すため,広範囲な試験を行った。
• 参考スコア（独自算出の注目度）: 18.25548360119976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper endeavors to advance the precision of snapshot compressive imaging (SCI) reconstruction for multispectral image (MSI). To achieve this, we integrate the advantageous attributes of established SCI techniques and an image generative model, propose a novel structured zero-shot diffusion model, dubbed DiffSCI. DiffSCI leverages the structural insights from the deep prior and optimization-based methodologies, complemented by the generative capabilities offered by the contemporary denoising diffusion model. Specifically, firstly, we employ a pre-trained diffusion model, which has been trained on a substantial corpus of RGB images, as the generative denoiser within the Plug-and-Play framework for the first time. This integration allows for the successful completion of SCI reconstruction, especially in the case that current methods struggle to address effectively. Secondly, we systematically account for spectral band correlations and introduce a robust methodology to mitigate wavelength mismatch, thus enabling seamless adaptation of the RGB diffusion model to MSIs. Thirdly, an accelerated algorithm is implemented to expedite the resolution of the data subproblem. This augmentation not only accelerates the convergence rate but also elevates the quality of the reconstruction process. We present extensive testing to show that DiffSCI exhibits discernible performance enhancements over prevailing self-supervised and zero-shot approaches, surpassing even supervised transformer counterparts across both simulated and real datasets. Our code will be available.
• Abstract（参考訳）: 本稿では,マルチスペクトラル画像(msi)のためのスナップショット圧縮画像再構成(sci)の精度向上に尽力する。 そこで我々は,既存のSCI技術と画像生成モデルとを融合し,DiffSCIと呼ばれる新規なゼロショット拡散モデルを提案する。 DiffSCIは、より深い事前および最適化に基づく方法論からの構造的洞察を活用し、現代の認知拡散モデルによって提供される生成能力を補完する。 具体的には,まず,プラグ・アンド・プレイ・フレームワークにおける生成的デノイザーとして,rgb画像の実質的なコーパスでトレーニングされた事前学習された拡散モデルを用いる。 この統合により、特に現在の手法が効果的な解決に苦慮している場合には、SCI再構築が成功する。 次に,スペクトル帯域相関を体系的に考慮し,波長ミスマッチを緩和するロバストな手法を導入することで,rgb拡散モデルをmsisにシームレスに適応させることができる。 第3に、データサブプロブレムの解像度を早めるために、高速化アルゴリズムを実装した。 この増強は収束速度を加速するだけでなく、再構築過程の品質を高める。 我々は、DiffSCIが、自己教師付きおよびゼロショットアプローチよりも明確なパフォーマンス向上を示し、シミュレートされたデータセットと実際のデータセットの両方にまたがる教師付きトランスフォーマーよりも優れていることを示すための広範なテストを示す。 私たちのコードは利用可能です。

関連論文リスト

• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Efficient One-Step Diffusion Refinement for Snapshot Compressive Imaging [8.819370643243012]
  Coded Aperture Snapshot Spectral Imaging (CASSI)は3次元マルチスペクトル画像(MSI)を撮影するための重要な技術である 現在の最先端の手法は、主にエンドツーエンドであり、高周波の詳細を再構築する際の制限に直面している。 本稿では,Snapshot Compressive Imagingのための自己教師型適応フレームワークにおいて,新しい1段階拡散確率モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:02:10Z)
• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• Latent Diffusion Prior Enhanced Deep Unfolding for Snapshot Spectral Compressive Imaging [17.511583657111792]
  スナップショット分光画像再構成は、単発2次元圧縮計測から3次元空間スペクトル像を再構成することを目的としている。 我々は, 深部展開法に先立って劣化のないモデルを生成するため, 遅延拡散モデル(LDM)という生成モデルを導入する。
  論文  参考訳（メタデータ） (2023-11-24T04:55:20Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。