論文の概要: One Category One Prompt: Dataset Distillation using Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.07142v1
- Date: Mon, 11 Mar 2024 20:23:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:45:29.704983
- Title: One Category One Prompt: Dataset Distillation using Diffusion Models
- Title(参考訳): 1つのカテゴリー:拡散モデルを用いたデータセット蒸留
- Authors: Ali Abbasi, Ashkan Shahbazi, Hamed Pirsiavash, Soheil Kolouri
- Abstract要約: 本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。
提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
- 参考スコア(独自算出の注目度): 22.512552596310176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The extensive amounts of data required for training deep neural networks pose
significant challenges on storage and transmission fronts. Dataset distillation
has emerged as a promising technique to condense the information of massive
datasets into a much smaller yet representative set of synthetic samples.
However, traditional dataset distillation approaches often struggle to scale
effectively with high-resolution images and more complex architectures due to
the limitations in bi-level optimization. Recently, several works have proposed
exploiting knowledge distillation with decoupled optimization schemes to scale
up dataset distillation. Although these methods effectively address the
scalability issue, they rely on extensive image augmentations requiring the
storage of soft labels for augmented images. In this paper, we introduce
Dataset Distillation using Diffusion Models (D3M) as a novel paradigm for
dataset distillation, leveraging recent advancements in generative
text-to-image foundation models. Our approach utilizes textual inversion, a
technique for fine-tuning text-to-image generative models, to create concise
and informative representations for large datasets. By employing these learned
text prompts, we can efficiently store and infer new samples for introducing
data variability within a fixed memory budget. We show the effectiveness of our
method through extensive experiments across various computer vision benchmark
datasets with different memory budgets.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングに必要な膨大なデータは、ストレージと送信フロントに重大な課題をもたらす。
データセット蒸留は、膨大なデータセットの情報をはるかに小さいが代表的な合成サンプルに集約する有望な技術として登場した。
しかし、従来のデータセット蒸留手法は、2レベル最適化の限界のため、高解像度の画像やより複雑なアーキテクチャで効果的にスケールするのに苦労することが多い。
近年, データセット蒸留をスケールアップするための非結合最適化手法による知識蒸留の活用が提案されている。
これらの手法はスケーラビリティの問題を効果的に解決するが、拡張画像のソフトラベルの保存を必要とする広範な画像拡張に依存している。
本稿では,データセット蒸留の新たなパラダイムとして拡散モデル(D3M)を用いたデータセット蒸留を導入する。
本手法では,テキストから画像への生成モデルの微調整手法であるtextual inversionを用いて,大規模データセットのための簡潔で情報的な表現を作成する。
これらの学習テキストプロンプトを使用することで、固定メモリ予算内でデータ可変性を導入するために、新しいサンプルを効率的に保存し、推論することができる。
メモリ予算の異なる様々なコンピュータビジョンベンチマークデータセットを対象とした広範囲な実験により,本手法の有効性を示す。
関連論文リスト
- Latent Dataset Distillation with Diffusion Models [10.082751617396474]
大規模なデータセットはストレージの課題に対処し、非インフルエンシャルなサンプルを含む。
データセット上の情報を凝縮した(合成された)サンプル、すなわち蒸留されたデータセットに蒸留するという概念が出現した。
論文 参考訳(メタデータ) (2024-03-06T17:41:41Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳(メタデータ) (2024-01-29T03:29:39Z) - Efficient Dataset Distillation via Minimax Diffusion [26.049709887003445]
本稿では,これらの基準を対象とする拡散過程の柔軟性を示す階層的拡散制御として,プロセスの理論モデルを提案する。
ImageWoofの100-IPC設定では,従来手法の蒸留時間は20分の1以下であったが,性能は向上した。
論文 参考訳(メタデータ) (2023-11-27T04:22:48Z) - Training on Thin Air: Improve Image Classification with Generated Data [28.96941414724037]
Diffusion Inversionは、画像分類のための多種多様な高品質なトレーニングデータを生成するための、シンプルで効果的な方法である。
提案手法は,元のデータ分布を捕捉し,画像を安定拡散の潜在空間に反転させることにより,データカバレッジを確保する。
生成した画像が元のデータセットに取って代わることに成功した3つの重要なコンポーネントを特定します。
論文 参考訳(メタデータ) (2023-05-24T16:33:02Z) - Multimodal Data Augmentation for Image Captioning using Diffusion Models [12.221685807426264]
本研究では,Stable Diffusionと呼ばれるテキスト・ツー・イメージ・モデルを利用してトレーニングセットを拡張するデータ拡張手法を提案する。
MS COCOデータセットの実験は、いくつかのベンチマーク手法に対する我々のアプローチの利点を実証している。
生成されたデータを意図的にフィルタリングした後、トレーニング効率及び有効性に関するさらなる改善が得られる。
論文 参考訳(メタデータ) (2023-05-03T01:57:33Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-02T17:59:31Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳(メタデータ) (2023-01-13T15:11:38Z) - Learning to Generate Synthetic Training Data using Gradient Matching and
Implicit Differentiation [77.34726150561087]
本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。
近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
論文 参考訳(メタデータ) (2022-03-16T11:45:32Z) - Feature transforms for image data augmentation [74.12025519234153]
画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。
本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。
事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
論文 参考訳(メタデータ) (2022-01-24T14:12:29Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。