論文の概要: Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems

• arxiv url: http://arxiv.org/abs/2406.02462v2
• Date: Wed, 30 Oct 2024 23:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:59.486332
• Title: Learning Image Priors through Patch-based Diffusion Models for Solving Inverse Problems
• Title（参考訳）: 逆問題解決のためのパッチベース拡散モデルによる画像優先学習
• Authors: Jason Hu, Bowen Song, Xiaojian Xu, Liyue Shen, Jeffrey A. Fessler,
• Abstract要約: 拡散モデルは、基礎となるデータ分布から強力な画像前処理を学習し、それを使って逆問題を解決することができるが、トレーニングプロセスは計算コストが高く、大量のデータを必要とする。 本稿では,画像のパッチのみに基づく拡散モデルのトレーニングにより,画像全体に対する効率的なデータ学習手法を提案する。
• 参考スコア（独自算出の注目度）: 15.298502168256519
• License:
• Abstract: Diffusion models can learn strong image priors from underlying data distribution and use them to solve inverse problems, but the training process is computationally expensive and requires lots of data. Such bottlenecks prevent most existing works from being feasible for high-dimensional and high-resolution data such as 3D images. This paper proposes a method to learn an efficient data prior for the entire image by training diffusion models only on patches of images. Specifically, we propose a patch-based position-aware diffusion inverse solver, called PaDIS, where we obtain the score function of the whole image through scores of patches and their positional encoding and utilize this as the prior for solving inverse problems. First of all, we show that this diffusion model achieves an improved memory efficiency and data efficiency while still maintaining the capability to generate entire images via positional encoding. Additionally, the proposed PaDIS model is highly flexible and can be plugged in with different diffusion inverse solvers (DIS). We demonstrate that the proposed PaDIS approach enables solving various inverse problems in both natural and medical image domains, including CT reconstruction, deblurring, and superresolution, given only patch-based priors. Notably, PaDIS outperforms previous DIS methods trained on entire image priors in the case of limited training data, demonstrating the data efficiency of our proposed approach by learning patch-based prior.
• Abstract（参考訳）: 拡散モデルは、基礎となるデータ分布から強力な画像前処理を学習し、それを使って逆問題を解決することができるが、トレーニングプロセスは計算コストが高く、大量のデータを必要とする。 このようなボトルネックは、ほとんどの既存の作品が3D画像のような高次元・高解像度のデータに対して実現可能であることを妨げている。 本稿では,画像のパッチのみに基づく拡散モデルのトレーニングにより,画像全体に対する効率的なデータ学習手法を提案する。 具体的には、パッチを用いた位置認識拡散逆解法PaDISを提案し、パッチのスコアと位置符号化を通して画像全体のスコア関数を取得し、これを逆問題解決の先駆けとして利用する。 まず, この拡散モデルは, 位置符号化による画像全体の生成能力を維持しつつ, メモリ効率とデータ効率の向上を実現していることを示す。 さらに、提案したPaDISモデルは非常に柔軟であり、異なる拡散逆解法(DIS)で接続することができる。 提案手法は,パッチベースのみを前提としたCT再構成,デブロアリング,超解像といった,自然画像領域と医用画像領域の様々な逆問題の解決を可能にする。 特に、PaDISは、トレーニングデータに制限がある場合、画像の事前に基づいてトレーニングされた従来のDIメソッドよりも優れており、パッチベースの事前学習によって提案手法のデータ効率を実証している。

関連論文リスト

• OmniSSR: Zero-shot Omnidirectional Image Super-Resolution using Stable Diffusion Model [6.83367289911244]
  ODI(Omnidirectional Image)は、現実世界の視覚タスクで一般的に使われ、高解像度のODIは関連する視覚タスクのパフォーマンス向上に役立つ。 ODIの既存の超解像法のほとんどはエンドツーエンドの学習戦略を用いており、結果として生成された画像の劣る現実性をもたらす。
  論文  参考訳（メタデータ） (2024-04-16T06:39:37Z)
• Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
  科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。 モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
  論文  参考訳（メタデータ） (2024-03-25T15:58:26Z)
• Learning from small data sets: Patch-based regularizers in inverse problems for image reconstruction [1.1650821883155187]
  機械学習の最近の進歩は、ネットワークを訓練するために大量のデータとコンピュータ能力を必要とする。 本稿は,ごく少数の画像のパッチを考慮に入れることで,小さなデータセットから学習する問題に対処する。 本稿では,Langevin Monte Carlo法を用いて後部を近似することにより,不確実な定量化を実現する方法を示す。
  論文  参考訳（メタデータ） (2023-12-27T15:30:05Z)
• Prompt-tuning latent diffusion models for inverse problems [72.13952857287794]
  本稿では,テキストから画像への遅延拡散モデルを用いた逆問題の画像化手法を提案する。 P2Lと呼ばれる本手法は,超解像,デブロアリング,インパインティングなどの様々なタスクにおいて,画像拡散モデルと潜時拡散モデルに基づく逆問題解法の両方に優れる。
  論文  参考訳（メタデータ） (2023-10-02T11:31:48Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Variational Bayesian Imaging with an Efficient Surrogate Score-based Prior [7.155937118886449]
  不完全, 雑音の計測により, クリーンな画像後部を狙う不完全な逆画像問題について考察する。 最近の研究は、スコアベースの拡散モデルを、不適切な画像問題を解くための原則化された先行モデルに変えた。 提案するサロゲート先行法は, スコアベース拡散モデルの低境界に基づくものである。
  論文  参考訳（メタデータ） (2023-09-05T04:55:10Z)
• Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency [7.671153315762146]
  画素空間におけるトレーニング拡散モデルは、データ集約的かつ計算的に要求される。 非常に低次元空間で動作する潜在拡散モデルは、これらの課題に対する解決策を提供する。 我々は,事前学習した潜在拡散モデルを用いて,一般的な逆問題を解決するアルゴリズムであるtextitReSampleを提案する。
  論文  参考訳（メタデータ） (2023-07-16T18:42:01Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Denoising Diffusion Restoration Models [110.1244240726802]
  Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。 DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
  論文  参考訳（メタデータ） (2022-01-27T20:19:07Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。