論文の概要: Ambient Diffusion: Learning Clean Distributions from Corrupted Data

• arxiv url: http://arxiv.org/abs/2305.19256v1
• Date: Tue, 30 May 2023 17:43:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 14:25:05.360332
• Title: Ambient Diffusion: Learning Clean Distributions from Corrupted Data
• Title（参考訳）: Ambient Diffusion: 破損したデータからクリーンな分散を学ぶ
• Authors: Giannis Daras, Kulin Shah, Yuval Dagan, Aravind Gollakota, Alexandros G. Dimakis, Adam Klivans
• Abstract要約: 本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。 このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
• 参考スコア（独自算出の注目度）: 77.34772355241901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first diffusion-based framework that can learn an unknown distribution using only highly-corrupted samples. This problem arises in scientific applications where access to uncorrupted samples is impossible or expensive to acquire. Another benefit of our approach is the ability to train generative models that are less likely to memorize individual training samples since they never observe clean training data. Our main idea is to introduce additional measurement distortion during the diffusion process and require the model to predict the original corrupted image from the further corrupted image. We prove that our method leads to models that learn the conditional expectation of the full uncorrupted image given this additional measurement corruption. This holds for any corruption process that satisfies some technical conditions (and in particular includes inpainting and compressed sensing). We train models on standard benchmarks (CelebA, CIFAR-10 and AFHQ) and show that we can learn the distribution even when all the training samples have $90\%$ of their pixels missing. We also show that we can finetune foundation models on small corrupted datasets (e.g. MRI scans with block corruptions) and learn the clean distribution without memorizing the training set.
• Abstract（参考訳）: 高度に分解されたサンプルのみを使用して未知の分布を学習できる最初の拡散ベースのフレームワークを提案する。 この問題は、未破壊のサンプルへのアクセスが不可能または高価な科学的な応用で発生する。 このアプローチのもう1つの利点は、クリーンなトレーニングデータを決して観測しないため、個々のトレーニングサンプルを記憶しにくい生成モデルのトレーニングを可能にすることです。 本研究の主目的は,拡散過程に付加的な測定歪みを導入し,さらに劣化した画像から元の劣化画像を予測することである。 本手法は, この付加的な測定誤差を考慮し, 完全非破壊画像の条件予測を学習するモデルに導かれることを示す。 これは、いくつかの技術的条件(特に塗り込みや圧縮センシングを含む)を満たすいかなる腐敗プロセスにも当てはまる。 標準ベンチマーク(CelebA, CIFAR-10, AFHQ)でモデルをトレーニングし、すべてのトレーニングサンプルが90セントのピクセルが欠落している場合でも、分布を学習できることを示します。 また、小さな破損したデータセット(例えば、ブロック破損を伴うmriスキャン)の基盤モデルを微調整し、トレーニングセットを覚えることなくクリーンな分布を学習できることも示します。

関連論文リスト

• Patch-Based Diffusion Models Beat Whole-Image Models for Mismatched Distribution Inverse Problems [12.5216516851131]
  我々は、既知のトレーニング分布が最初に提供される場合の分布(OOD)問題について検討する。 パッチのみから画像分布を学習するパッチベースの拡散を事前に使用しています。 どちらの設定でも、パッチベースの手法は、画像全体のモデルより優れた高品質な画像再構成を得ることができる。
  論文  参考訳（メタデータ） (2024-10-15T16:02:08Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Ambient Diffusion Posterior Sampling: Solving Inverse Problems with Diffusion Models trained on Corrupted Data [56.81246107125692]
  Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。 A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。 我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-13T17:28:20Z)
• Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
  特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Masked Diffusion Models Are Fast Distribution Learners [32.485235866596064]
  拡散モデルは、スクラッチからきめ細かい視覚情報を学習するために一般的に訓練されている。 まず, 素数分布を学習するためにモデルの事前学習を行うことにより, 強い拡散モデルを訓練するのに十分であることを示す。 そして、事前学習されたモデルは、様々な生成タスクに対して効率的に微調整することができる。
  論文  参考訳（メタデータ） (2023-06-20T08:02:59Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。