論文の概要: Ambient Diffusion: Learning Clean Distributions from Corrupted Data
- arxiv url: http://arxiv.org/abs/2305.19256v1
- Date: Tue, 30 May 2023 17:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 14:25:05.360332
- Title: Ambient Diffusion: Learning Clean Distributions from Corrupted Data
- Title(参考訳): Ambient Diffusion: 破損したデータからクリーンな分散を学ぶ
- Authors: Giannis Daras, Kulin Shah, Yuval Dagan, Aravind Gollakota, Alexandros
G. Dimakis, Adam Klivans
- Abstract要約: 本稿では,高度に破損したサンプルのみを用いて未知の分布を学習できる拡散型フレームワークを提案する。
このアプローチのもうひとつのメリットは、個々のトレーニングサンプルを記憶しにくい生成モデルをトレーニングできることです。
- 参考スコア(独自算出の注目度): 77.34772355241901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the first diffusion-based framework that can learn an unknown
distribution using only highly-corrupted samples. This problem arises in
scientific applications where access to uncorrupted samples is impossible or
expensive to acquire. Another benefit of our approach is the ability to train
generative models that are less likely to memorize individual training samples
since they never observe clean training data. Our main idea is to introduce
additional measurement distortion during the diffusion process and require the
model to predict the original corrupted image from the further corrupted image.
We prove that our method leads to models that learn the conditional expectation
of the full uncorrupted image given this additional measurement corruption.
This holds for any corruption process that satisfies some technical conditions
(and in particular includes inpainting and compressed sensing). We train models
on standard benchmarks (CelebA, CIFAR-10 and AFHQ) and show that we can learn
the distribution even when all the training samples have $90\%$ of their pixels
missing. We also show that we can finetune foundation models on small corrupted
datasets (e.g. MRI scans with block corruptions) and learn the clean
distribution without memorizing the training set.
- Abstract(参考訳): 高度に分解されたサンプルのみを使用して未知の分布を学習できる最初の拡散ベースのフレームワークを提案する。
この問題は、未破壊のサンプルへのアクセスが不可能または高価な科学的な応用で発生する。
このアプローチのもう1つの利点は、クリーンなトレーニングデータを決して観測しないため、個々のトレーニングサンプルを記憶しにくい生成モデルのトレーニングを可能にすることです。
本研究の主目的は,拡散過程に付加的な測定歪みを導入し,さらに劣化した画像から元の劣化画像を予測することである。
本手法は, この付加的な測定誤差を考慮し, 完全非破壊画像の条件予測を学習するモデルに導かれることを示す。
これは、いくつかの技術的条件(特に塗り込みや圧縮センシングを含む)を満たすいかなる腐敗プロセスにも当てはまる。
標準ベンチマーク(CelebA, CIFAR-10, AFHQ)でモデルをトレーニングし、すべてのトレーニングサンプルが90セントのピクセルが欠落している場合でも、分布を学習できることを示します。
また、小さな破損したデータセット(例えば、ブロック破損を伴うmriスキャン)の基盤モデルを微調整し、トレーニングセットを覚えることなくクリーンな分布を学習できることも示します。
関連論文リスト
- Ambient Diffusion Posterior Sampling: Solving Inverse Problems with
Diffusion Models trained on Corrupted Data [56.81246107125692]
Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。
A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。
我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-13T17:28:20Z) - Fine Structure-Aware Sampling: A New Sampling Training Scheme for
Pixel-Aligned Implicit Models in Single-View Human Reconstruction [105.46091601932524]
本研究では,単一視点の人物再構成のための暗黙的画素アライメントモデルをトレーニングするために,FSS(Final Structured-Aware Sampling)を導入する。
FSSは表面の厚さと複雑さに積極的に適応する。
また、画素アライメント型暗黙的モデルのためのメッシュ厚み損失信号を提案する。
論文 参考訳(メタデータ) (2024-02-29T14:26:46Z) - Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。
このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。
本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
論文 参考訳(メタデータ) (2024-02-12T22:32:12Z) - How Low Can You Go? Surfacing Prototypical In-Distribution Samples for
Unsupervised Anomaly Detection [56.06401423880554]
教師なし異常検出(UAD)は、ラベルなしの配布データのみをトレーニングすることで、大規模なラベル付け作業を軽減する。
ごく少数のトレーニングサンプルを使用することで、トレーニングデータセット全体のトレーニングと比較して、すでに一致し、場合によっては異常検出も改善できることが示されています。
論文 参考訳(メタデータ) (2023-12-06T15:30:47Z) - Masked Diffusion Models Are Fast Distribution Learners [32.485235866596064]
拡散モデルは、スクラッチからきめ細かい視覚情報を学習するために一般的に訓練されている。
まず, 素数分布を学習するためにモデルの事前学習を行うことにより, 強い拡散モデルを訓練するのに十分であることを示す。
そして、事前学習されたモデルは、様々な生成タスクに対して効率的に微調整することができる。
論文 参考訳(メタデータ) (2023-06-20T08:02:59Z) - GSURE-Based Diffusion Model Training with Corrupted Data [44.47246905244631]
本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。
顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:27:20Z) - Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。
本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。
提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-12T17:45:03Z) - Forgetting Data from Pre-trained GANs [28.326418377665345]
特定の種類のサンプルを忘れないように、トレーニング後にモデルを後編集する方法について検討する。
我々は,GANに対して,忘れるべきサンプルの表現方法が異なる3つの異なるアルゴリズムを提供する。
我々のアルゴリズムは、完全再トレーニングのコストのごく一部で、高品質を維持しながらデータを忘れることができる。
論文 参考訳(メタデータ) (2022-06-29T03:46:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。