論文の概要: A data augmentation perspective on diffusion models and retrieval
- arxiv url: http://arxiv.org/abs/2304.10253v1
- Date: Thu, 20 Apr 2023 12:21:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 13:31:55.046705
- Title: A data augmentation perspective on diffusion models and retrieval
- Title（参考訳）: 拡散モデルと検索におけるデータ拡張の展望
- Authors: Max F. Burg, Florian Wenzel, Dominik Zietlow, Max Horn, Osama Makansi,
Francesco Locatello, Chris Russell
- Abstract要約: 拡散モデルは、テキストクエリーからフォトリアリスティックな画像を生成するのに優れている。
これらの生成能力を用いて、分類などの下流タスクのためのトレーニングデータセットを強化するために、多くのアプローチが提案されている。
拡張のための事前学習プロセスの追加データ以上の拡散モデルの能力が、下流の性能改善につながるかどうかについては、未解決の問題である。
- 参考スコア（独自算出の注目度）: 34.56584787677231
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models excel at generating photorealistic images from text-queries.
Naturally, many approaches have been proposed to use these generative abilities
to augment training datasets for downstream tasks, such as classification.
However, diffusion models are themselves trained on large noisily supervised,
but nonetheless, annotated datasets. It is an open question whether the
generalization capabilities of diffusion models beyond using the additional
data of the pre-training process for augmentation lead to improved downstream
performance. We perform a systematic evaluation of existing methods to generate
images from diffusion models and study new extensions to assess their benefit
for data augmentation. While we find that personalizing diffusion models
towards the target data outperforms simpler prompting strategies, we also show
that using the training data of the diffusion model alone, via a simple nearest
neighbor retrieval procedure, leads to even stronger downstream performance.
Overall, our study probes the limitations of diffusion models for data
augmentation but also highlights its potential in generating new training data
to improve performance on simple downstream vision tasks.
- Abstract（参考訳）: 拡散モデルはテキストキューからフォトリアリスティックな画像を生成するのに優れている。
当然、これらの生成能力を用いて、分類などの下流タスクのためのトレーニングデータセットを増強する多くのアプローチが提案されている。
しかし拡散モデルは、大きなノイズに支配されているが、それでも注釈付きデータセットで訓練されている。
拡散モデルの一般化能力が,事前学習プロセスの付加データに留まらず,下流性能の向上に繋がるかどうかが疑問視されている。
拡散モデルから画像を生成する既存の手法の体系的評価を行い、データ拡張の利点を評価するために新しい拡張について検討する。
対象データに対する拡散モデルのパーソナライズが,より簡単なプロンプト戦略よりも優れていることを見出しつつ,最寄りの探索手順を通じて,拡散モデルのトレーニングデータのみを用いることで,下流性能がさらに向上することを示す。
全体として,データ拡張のための拡散モデルの限界を探索すると同時に,ダウンストリームビジョンタスクのパフォーマンスを改善するための新たなトレーニングデータを生成する可能性も強調する。
関連論文リスト
- Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images [19.957503854446735]
拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場した。
FlowDiffは条件付き正規化フローモデルを利用して、破損したデータソース上で拡散モデルのトレーニングを容易にする共同トレーニングパラダイムである。
実験の結果,FlowDiffは広範囲の破損したデータソースにわたるクリーンな分布を効果的に学習できることがわかった。
論文 参考訳（メタデータ） (2024-07-15T18:33:20Z) - Improving Discrete Diffusion Models via Structured Preferential Generation [25.784316302130875]
本稿では, 離散拡散モデルの改良に, 構造化前処理を導入して挑戦する。
提案手法は, 生成過程に偏り, 先行するカテゴリを生成させ, 結果としてtext8データセット上でのログライクなスコアが顕著に向上する。
論文 参考訳（メタデータ） (2024-05-28T07:11:30Z) - Learning Diffusion Priors from Observations by Expectation Maximization [6.224769485481242]
不完全および雑音のみから拡散モデルをトレーニングするための予測最大化アルゴリズムに基づく新しい手法を提案する。
提案手法は,非条件拡散モデルに対する改良された後続サンプリング方式の提案と動機付けである。
論文 参考訳（メタデータ） (2024-05-22T15:04:06Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳（メタデータ） (2024-03-20T04:58:03Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2024-02-15T18:59:18Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T11:19:11Z) - Continual Learning of Diffusion Models with Generative Distillation [34.52513912701778]
拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。
本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
論文 参考訳（メタデータ） (2023-11-23T14:33:03Z) - Exploring Continual Learning of Diffusion Models [24.061072903897664]
拡散モデルの連続学習(CL)特性を評価する。
我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
論文 参考訳（メタデータ） (2023-03-27T15:52:14Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳（メタデータ） (2021-02-09T20:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。