論文の概要: Distribution-Aware Data Expansion with Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.06741v1
- Date: Mon, 11 Mar 2024 14:07:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:54:31.342273
- Title: Distribution-Aware Data Expansion with Diffusion Models
- Title(参考訳): 拡散モデルを用いた分散認識データ拡張
- Authors: Haowei Zhu, Ling Yang, Jun-Hai Yong, Wentao Zhang, Bin Wang
- Abstract要約: 分散認識拡散モデルに基づく効果的なデータ拡張フレームワークであるDistDiffを提案する。
分散一貫性のあるサンプルを生成する能力を示し,データ拡張タスクの大幅な改善を実現した。
- 参考スコア(独自算出の注目度): 31.547348897780502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scale and quality of a dataset significantly impact the performance of
deep models. However, acquiring large-scale annotated datasets is both a costly
and time-consuming endeavor. To address this challenge, dataset expansion
technologies aim to automatically augment datasets, unlocking the full
potential of deep models. Current data expansion methods encompass image
transformation-based and synthesis-based methods. The transformation-based
methods introduce only local variations, resulting in poor diversity. While
image synthesis-based methods can create entirely new content, significantly
enhancing informativeness. However, existing synthesis methods carry the risk
of distribution deviations, potentially degrading model performance with
out-of-distribution samples. In this paper, we propose DistDiff, an effective
data expansion framework based on the distribution-aware diffusion model.
DistDiff constructs hierarchical prototypes to approximate the real data
distribution, optimizing latent data points within diffusion models with
hierarchical energy guidance. We demonstrate its ability to generate
distribution-consistent samples, achieving substantial improvements in data
expansion tasks. Specifically, without additional training, DistDiff achieves a
30.7% improvement in accuracy across six image datasets compared to the model
trained on original datasets and a 9.8% improvement compared to the
state-of-the-art diffusion-based method. Our code is available at
https://github.com/haoweiz23/DistDiff
- Abstract(参考訳): データセットのスケールと品質は、ディープモデルのパフォーマンスに大きな影響を与えます。
しかし、大規模な注釈付きデータセットの取得はコストも時間もかかる作業である。
この課題に対処するため、データセット拡張技術はデータセットを自動的に拡張し、深層モデルの可能性を最大限に活用することを目指している。
現在のデータ拡張手法は、画像変換ベースと合成ベースを包含する。
変換に基づく手法は局所的な変化のみを導入し、結果として多様性は低下する。
画像合成に基づく手法は、全く新しいコンテンツを作成できるが、情報性が著しく向上する。
しかし、既存の合成手法は分布偏差のリスクを負い、分散サンプルでモデル性能を低下させる可能性がある。
本稿では,分散対応拡散モデルに基づく効率的なデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、階層的なプロトタイプを構築し、実際のデータ分布を近似し、階層的なエネルギー誘導による拡散モデル内の潜在データポイントを最適化する。
分散一貫性のあるサンプルを生成する能力を示し、データ拡張タスクを大幅に改善する。
具体的には、追加のトレーニングなしで、ディストディフは6つの画像データセットでトレーニングされたモデルと比較して30.7%の精度向上と、最先端の拡散ベース法と比較して9.8%の改善を達成している。
私たちのコードはhttps://github.com/haoweiz23/DistDiffで利用可能です。
関連論文リスト
- Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-02-16T16:47:21Z) - On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。
その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
論文 参考訳(メタデータ) (2023-11-22T01:42:23Z) - Expanding Expressiveness of Diffusion Models with Limited Data via
Self-Distillation based Fine-Tuning [24.791783885165923]
限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。
これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
論文 参考訳(メタデータ) (2023-11-02T06:24:06Z) - DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion
Models [61.906934570771256]
多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。
本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。
拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
論文 参考訳(メタデータ) (2023-08-11T14:38:11Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。
本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
論文 参考訳(メタデータ) (2023-06-07T01:43:09Z) - Training on Thin Air: Improve Image Classification with Generated Data [28.96941414724037]
Diffusion Inversionは、画像分類のための多種多様な高品質なトレーニングデータを生成するための、シンプルで効果的な方法である。
提案手法は,元のデータ分布を捕捉し,画像を安定拡散の潜在空間に反転させることにより,データカバレッジを確保する。
生成した画像が元のデータセットに取って代わることに成功した3つの重要なコンポーネントを特定します。
論文 参考訳(メタデータ) (2023-05-24T16:33:02Z) - T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified
Visual Modalities [69.16656086708291]
拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。
本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。
モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
論文 参考訳(メタデータ) (2023-05-24T03:32:03Z) - Expanding Small-Scale Datasets with Guided Imagination [92.5276783917845]
データセット拡張は、新しいラベル付きサンプルを自動生成することによって、使用可能な小さなデータセットを拡張することを目的とした、新しいタスクである。
GIFは、先行モデルの意味論的意味のある空間において、シードデータの潜伏した特徴を最適化することにより、データイマジネーションを行う。
GIF-SDは、SDによる非ガイド展開よりも、自然画像データセットのモデル精度が13.5%高い。
論文 参考訳(メタデータ) (2022-11-25T09:38:22Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。