論文の概要: Random Conditioning with Distillation for Data-Efficient Diffusion Model Compression

• arxiv url: http://arxiv.org/abs/2504.02011v1
• Date: Wed, 02 Apr 2025 05:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:57:53.180353
• Title: Random Conditioning with Distillation for Data-Efficient Diffusion Model Compression
• Title（参考訳）: データ効率のよい拡散モデル圧縮のための蒸留によるランダム条件付け
• Authors: Dohyun Kim, Sehwan Park, Geonhee Han, Seung Wook Kim, Paul Hongsuck Seo,
• Abstract要約: 拡散モデルは、プログレッシブデノケーションにより高品質な画像を生成するが、大きなモデルサイズと繰り返しサンプリングのために計算集約的である。 本研究では,ランダムに選択したテキスト条件と雑音のある画像とをペアリングして,効率的な無画像知識蒸留を可能にする手法であるランダム条件付けを提案する。 提案手法により,条件固有の画像を生成することなく条件空間を探索することが可能となり,生成品質と効率の両面で顕著な改善が得られた。
• 参考スコア（独自算出の注目度）: 7.859083902013309
• License:
• Abstract: Diffusion models generate high-quality images through progressive denoising but are computationally intensive due to large model sizes and repeated sampling. Knowledge distillation, which transfers knowledge from a complex teacher to a simpler student model, has been widely studied in recognition tasks, particularly for transferring concepts unseen during student training. However, its application to diffusion models remains underexplored, especially in enabling student models to generate concepts not covered by the training images. In this work, we propose Random Conditioning, a novel approach that pairs noised images with randomly selected text conditions to enable efficient, image-free knowledge distillation. By leveraging this technique, we show that the student can generate concepts unseen in the training images. When applied to conditional diffusion model distillation, our method allows the student to explore the condition space without generating condition-specific images, resulting in notable improvements in both generation quality and efficiency. This promotes resource-efficient deployment of generative diffusion models, broadening their accessibility for both research and real-world applications. Code, models, and datasets are available at https://dohyun-as.github.io/Random-Conditioning .
• Abstract（参考訳）: 拡散モデルは、プログレッシブデノケーションにより高品質な画像を生成するが、大きなモデルサイズと繰り返しサンプリングのために計算集約的である。 複雑な教師からより単純な学生モデルに知識を伝達する知識蒸留は、認知タスク、特に学生の訓練中に目に見えない概念を伝達するために広く研究されている。 しかし、拡散モデルへのその応用は、特に学生モデルが訓練画像でカバーされていない概念を生成できるようには、未検討のままである。 本研究では,ランダムに選択したテキスト条件と雑音のある画像とをペアリングして,効率的な無画像知識蒸留を可能にする手法であるランダムコンディショニングを提案する。 この手法を利用することで、学生はトレーニング画像に見えない概念を生成できることを示す。 条件拡散モデル蒸留に適用した場合,条件特異的な画像を生成することなく条件空間を探索することが可能となり,生成品質と効率の両面で顕著な改善が得られた。 これにより、生成拡散モデルの資源効率が向上し、研究用および実世界のアプリケーションへのアクセシビリティが向上する。 コード、モデル、データセットはhttps://dohyun-as.github.io/Random-Conditioning.orgで公開されている。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model [0.10910416614141322]
  拡散モデルは、シリコン内画像を生成する最先端のソリューションである。 自然画像の出現伝達拡散モデルが設計されている。 計算病理学、特に腫瘍学では、画像内のどのオブジェクトを前景と背景に分類すべきかを簡単に定義することはできない。 我々は,クラス固有のAdaIN特徴量マッチングを交互に行うために,外観伝達指導を変更することで,拡散安定画像への外観伝達モデルの適用性に寄与する。
  論文  参考訳（メタデータ） (2024-07-16T12:36:26Z)
• Conditional Image Generation with Pretrained Generative Model [1.4685355149711303]
  拡散モデルは、GANモデルと比較して高品質な画像を生成する能力で人気を集めている。 これらのモデルには膨大な量のデータ、計算資源、そして訓練を成功させるために巧妙なチューニングが必要である。 本研究では,条件付き画像生成のために,事前学習した非条件拡散モデルを活用する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T18:27:53Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster Image Generation [49.3016007471979]
  大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。 しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。 本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:18Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• Generating images of rare concepts using pre-trained diffusion models [32.5337654536764]
  テキスト・ツー・イメージ拡散モデルは高品質な画像を合成できるが、様々な制限がある。 これらの制限は、トレーニングデータの長い尾の性質に起因していることが示されています。 ノイズ空間内で適切な生成種を慎重に選択することで、稀な概念を正しく生成できることが示される。
  論文  参考訳（メタデータ） (2023-04-27T20:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。