論文の概要: Neural Shrödinger Bridge Matching for Pansharpening
- arxiv url: http://arxiv.org/abs/2404.11416v1
- Date: Wed, 17 Apr 2024 14:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:45:12.003255
- Title: Neural Shrödinger Bridge Matching for Pansharpening
- Title(参考訳): パンシャーピングのためのニューラルシュレーディンガーブリッジマッチング
- Authors: Zihan Cao, Xiao Wu, Liang-Jian Deng,
- Abstract要約: 近年,パンシャルペン分野における拡散確率モデル (DPM) が注目されている。
逆問題としてパンシャーペンのタスクに直接DPMを適用する際の欠点を同定する。
両問題に対処するSchr"odinger bridge matching法を提案する。
- 参考スコア(独自算出の注目度): 14.131205410479357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent diffusion probabilistic models (DPM) in the field of pansharpening have been gradually gaining attention and have achieved state-of-the-art (SOTA) performance. In this paper, we identify shortcomings in directly applying DPMs to the task of pansharpening as an inverse problem: 1) initiating sampling directly from Gaussian noise neglects the low-resolution multispectral image (LRMS) as a prior; 2) low sampling efficiency often necessitates a higher number of sampling steps. We first reformulate pansharpening into the stochastic differential equation (SDE) form of an inverse problem. Building upon this, we propose a Schr\"odinger bridge matching method that addresses both issues. We design an efficient deep neural network architecture tailored for the proposed SB matching. In comparison to the well-established DL-regressive-based framework and the recent DPM framework, our method demonstrates SOTA performance with fewer sampling steps. Moreover, we discuss the relationship between SB matching and other methods based on SDEs and ordinary differential equations (ODEs), as well as its connection with optimal transport. Code will be available.
- Abstract(参考訳): 近年,パンシャルペン分野における拡散確率モデル (DPM) が注目され,SOTA (State-of-the-art) の性能が向上している。
本稿では,逆問題としてパンシャルペンのタスクにDPMを直接適用する際の欠点を同定する。
1) ガウスノイズから直接サンプリングを開始すると、先行した低分解能マルチスペクトル画像(LRMS)を無視する。
2) サンプリング効率の低下は, サンプリングステップ数の増加を必要とすることが多い。
まずパンシャーペンを逆問題の確率微分方程式(SDE)形式に再構成する。
これに基づいて,両問題に対処するSchr\"odinger bridge matching法を提案する。
提案したSBマッチングに適した,効率的なディープニューラルネットワークアーキテクチャを設計する。
DL-Regressive-based framework(DL-Regressive-based framework)や最近のDPM framework(DPM framework)と比較して,本手法はサンプリングステップを少なくしてSOTA性能を示す。
さらに、SBマッチングとSDEと通常の微分方程式(ODE)に基づく他の手法との関係や、最適輸送との関係についても論じる。
コードは利用可能です。
関連論文リスト
- BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。
BlindDiffはMAPベースの最適化をDMにシームレスに統合する。
合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2024-03-15T11:21:34Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳(メタデータ) (2023-07-21T02:28:54Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳(メタデータ) (2023-07-20T09:06:21Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳(メタデータ) (2023-04-21T17:17:51Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Diffusion Schr\"odinger Bridge Matching [36.95088080680221]
反復マルコフフィッティング(IMF)と拡散シュリンガーブリッジマッチング(DSBM)を紹介する。
IMFはSB問題を解決するための新しい手法であり、DSBMはIMFの反復計算のための新しい数値アルゴリズムである。
様々な問題についてDSBMの性能を実証する。
論文 参考訳(メタデータ) (2023-03-29T16:59:22Z) - Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。
DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。
拡散モデル(PNDM)の擬似数値法を提案する。
PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
論文 参考訳(メタデータ) (2022-02-20T10:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。