論文の概要: Adapt and Diffuse: Sample-adaptive Reconstruction via Latent Diffusion
Models
- arxiv url: http://arxiv.org/abs/2309.06642v1
- Date: Tue, 12 Sep 2023 23:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 16:02:28.511416
- Title: Adapt and Diffuse: Sample-adaptive Reconstruction via Latent Diffusion
Models
- Title(参考訳): adapt and diffuse: 潜在拡散モデルによるサンプル適応型再構成
- Authors: Zalan Fabian, Berk Tinaz, Mahdi Soltanolkotabi
- Abstract要約: 逆問題は、ノイズや(非線形でない)観測からクリーンな信号を回復することが目的である複数のアプリケーションで発生する。
自動エンコーダの潜時空間における雑音・劣化信号の劣化度を推定する新しい手法を提案する。
推定重大度が真の汚損レベルと強く相関していることを示し,サンプル・バイ・サンプルに基づく復元問題の難しさを示唆する有用なヒントを与える。
- 参考スコア(独自算出の注目度): 27.57600878525296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inverse problems arise in a multitude of applications, where the goal is to
recover a clean signal from noisy and possibly (non)linear observations. The
difficulty of a reconstruction problem depends on multiple factors, such as the
structure of the ground truth signal, the severity of the degradation, the
implicit bias of the reconstruction model and the complex interactions between
the above factors. This results in natural sample-by-sample variation in the
difficulty of a reconstruction task, which is often overlooked by contemporary
techniques. Recently, diffusion-based inverse problem solvers have established
new state-of-the-art in various reconstruction tasks. However, they have the
drawback of being computationally prohibitive. Our key observation in this
paper is that most existing solvers lack the ability to adapt their compute
power to the difficulty of the reconstruction task, resulting in long inference
times, subpar performance and wasteful resource allocation. We propose a novel
method that we call severity encoding, to estimate the degradation severity of
noisy, degraded signals in the latent space of an autoencoder. We show that the
estimated severity has strong correlation with the true corruption level and
can give useful hints at the difficulty of reconstruction problems on a
sample-by-sample basis. Furthermore, we propose a reconstruction method based
on latent diffusion models that leverages the predicted degradation severities
to fine-tune the reverse diffusion sampling trajectory and thus achieve
sample-adaptive inference times. We utilize latent diffusion posterior sampling
to maintain data consistency with observations. We perform experiments on both
linear and nonlinear inverse problems and demonstrate that our technique
achieves performance comparable to state-of-the-art diffusion-based techniques,
with significant improvements in computational efficiency.
- Abstract(参考訳): 逆問題は、ノイズや(非線形でない)観測からクリーンな信号を回復することが目的である複数のアプリケーションで発生する。
再構成問題の難しさは, 基底真理信号の構造, 劣化の深刻度, 復元モデルの暗黙バイアス, 上記の因子間の複雑な相互作用など, 様々な要因に依存する。
その結果, 復元作業の難易度において, サンプル・バイ・サンプルの自然な変動が生じ, 現代の技術では見落とされがちである。
近年,拡散型逆解法が様々な再構成課題において新たな最先端技術を確立している。
しかし、それらは計算的に禁止されるという欠点がある。
本稿では, 既存の解法では, 計算能力が再現作業の難易度に適応する能力が欠如しているため, 長時間の推測時間, 性能の低下, 資源割り当ての無駄が生じる。
自動符号化器の潜時空間における雑音・劣化信号の劣化重大度を推定するために,重大度符号化と呼ばれる新しい手法を提案する。
推定重大度が真の汚損レベルと強く相関していることを示し,サンプル・バイ・サンプルに基づく復元問題の難しさを示唆する有用なヒントを与える。
さらに,予測した劣化性を利用して逆拡散サンプリング軌跡を微調整し,サンプル適応推定時間を実現する潜在拡散モデルに基づく再構成法を提案する。
我々は遅延拡散後サンプリングを用いて観測値との整合性を維持する。
線形と非線形の逆問題の両方について実験を行い, 計算効率を大幅に向上させながら, 最先端の拡散ベース技術に匹敵する性能を実現することを実証する。
関連論文リスト
- Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳(メタデータ) (2023-11-20T08:27:56Z) - Consistent Signal Reconstruction from Streaming Multivariate Time Series [5.448070998907116]
我々は,ストリーミング時系列データから一貫した信号再構成の概念を初めて定式化する。
提案手法は, 類似しているが非一貫性の再構成と比較して, サンプリングレートで良好な誤差速度の減衰を実現する。
論文 参考訳(メタデータ) (2023-08-23T22:50:52Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - DiracDiffusion: Denoising and Incremental Reconstruction with Assured
Data-Consistency [32.2120650813129]
拡散モデルは、画像復元を含む多数のコンピュータビジョンタスクにおいて、この技術の新たな状態を確立した。
逆問題解決のための新しい枠組みを提案する。つまり、観測は徐々に劣化し、元のクリーンイメージにノイズを与える劣化過程から来ていると仮定する。
本手法は, 逆過程を通じて元の計測値との整合性を維持し, 歪み指標の改善と早期ストッピングによるサンプリング高速化のために, 知覚品質のトレードオフに優れた柔軟性を実現する。
論文 参考訳(メタデータ) (2023-03-25T04:37:20Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳(メタデータ) (2023-03-10T07:42:49Z) - Diffusion Posterior Sampling for General Noisy Inverse Problems [33.343489006271255]
我々は拡散解法を拡張し、後方サンプリングのラプラス近似を用いて雑音(非線形)逆問題に対処する。
本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
論文 参考訳(メタデータ) (2022-09-29T11:12:27Z) - Towards performant and reliable undersampled MR reconstruction via
diffusion model sampling [67.73698021297022]
DiffuseReconは拡散モデルに基づく新しいMR再構成法である。
観測された信号に基づいて生成過程を導出する。
特定の加速因子に関する追加の訓練は必要としない。
論文 参考訳(メタデータ) (2022-03-08T02:25:38Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳(メタデータ) (2021-12-05T04:36:09Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳(メタデータ) (2020-06-05T19:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。