論文の概要: Patch-Based Diffusion Models Beat Whole-Image Models for Mismatched Distribution Inverse Problems

• arxiv url: http://arxiv.org/abs/2410.11730v1
• Date: Tue, 15 Oct 2024 16:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:12.428176
• Title: Patch-Based Diffusion Models Beat Whole-Image Models for Mismatched Distribution Inverse Problems
• Title（参考訳）: 分散逆問題に対するパッチベース拡散モデルが全画像モデルに勝る
• Authors: Jason Hu, Bowen Song, Jeffrey A. Fessler, Liyue Shen,
• Abstract要約: 我々は、既知のトレーニング分布が最初に提供される場合の分布(OOD)問題について検討する。 パッチのみから画像分布を学習するパッチベースの拡散を事前に使用しています。 どちらの設定でも、パッチベースの手法は、画像全体のモデルより優れた高品質な画像再構成を得ることができる。
• 参考スコア（独自算出の注目度）: 12.5216516851131
• License:
• Abstract: Diffusion models have achieved excellent success in solving inverse problems due to their ability to learn strong image priors, but existing approaches require a large training dataset of images that should come from the same distribution as the test dataset. When the training and test distributions are mismatched, artifacts and hallucinations can occur in reconstructed images due to the incorrect priors. In this work, we systematically study out of distribution (OOD) problems where a known training distribution is first provided. We first study the setting where only a single measurement obtained from the unknown test distribution is available. Next we study the setting where a very small sample of data belonging to the test distribution is available, and our goal is still to reconstruct an image from a measurement that came from the test distribution. In both settings, we use a patch-based diffusion prior that learns the image distribution solely from patches. Furthermore, in the first setting, we include a self-supervised loss that helps the network output maintain consistency with the measurement. Extensive experiments show that in both settings, the patch-based method can obtain high quality image reconstructions that can outperform whole-image models and can compete with methods that have access to large in-distribution training datasets. Furthermore, we show how whole-image models are prone to memorization and overfitting, leading to artifacts in the reconstructions, while a patch-based model can resolve these issues.
• Abstract（参考訳）: 拡散モデルは、強い画像の事前学習能力によって、逆問題の解決に優れた成功を収めてきたが、既存のアプローチでは、テストデータセットと同じ分布から得られるような、大規模なトレーニングデータセットが必要である。 トレーニングとテストの分布が一致していない場合、不正な事前処理のために再構成された画像にアーティファクトや幻覚が発生する可能性がある。 本研究では,既知の学習分布が最初に提供される場合の分布(OOD)問題について,系統的に検討する。 まず,未知の試験分布から得られる1つの測定値のみを利用できる設定について検討する。 次に、テスト分布に属するデータのごく小さなサンプルが利用可能となる環境について検討し、テスト分布から得られた測定値から画像を再構成することが目的である。 どちらの設定でも、パッチのみからイメージ分布を学習するパッチベースの拡散を前もって使用します。 さらに、第1設定では、ネットワーク出力が測定値との整合性を維持するのに役立つ自己教師付き損失を含む。 広範にわたる実験により、パッチベースの手法は、画像全体のモデルよりも優れた高品質な画像再構成を得ることができ、大規模なインディストリビューショントレーニングデータセットにアクセス可能な手法と競合することを示した。 さらに、画像全体のモデルが記憶と過剰適合の傾向を示し、再構築の成果物につながる一方、パッチベースのモデルはこれらの問題を解決することができることを示す。

関連論文リスト

• Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
  本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。 筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
  論文  参考訳（メタデータ） (2024-10-15T03:54:59Z)
• Ambient Diffusion Posterior Sampling: Solving Inverse Problems with Diffusion Models trained on Corrupted Data [56.81246107125692]
  Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。 A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。 我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-13T17:28:20Z)
• Ambient Diffusion: Learning Clean Distributions from Corrupted Data [77.34772355241901]
  本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。 このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
  論文  参考訳（メタデータ） (2023-05-30T17:43:33Z)
• UMat: Uncertainty-Aware Single Image High Resolution Material Capture [2.416160525187799]
  本研究では, 物体の単一拡散像から正規性, 特異性, 粗さを復元する学習手法を提案する。 本手法は材料デジタル化における不確実性をモデル化する問題に最初に対処する手法である。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• Score-Based Diffusion Models as Principled Priors for Inverse Imaging [46.19536250098105]
  本稿では,スコアに基づく拡散モデルを原理化された画像優先モデルに変換することを提案する。 本稿では, この確率関数を変分推論に用いることにより, 後部から試料を抽出する方法を示す。
  論文  参考訳（メタデータ） (2023-04-23T21:05:59Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• PatchNR: Learning from Small Data by Patch Normalizing Flow Regularization [57.37911115888587]
  正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。 patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
  論文  参考訳（メタデータ） (2022-05-24T12:14:26Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)
• Score-based diffusion models for accelerated MRI [35.3148116010546]
  本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。 我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
  論文  参考訳（メタデータ） (2021-10-08T08:42:03Z)
• A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection [93.38607559281601]
  各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。 この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
  論文  参考訳（メタデータ） (2021-04-29T17:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。