論文の概要: LightGen: Efficient Image Generation through Knowledge Distillation and Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2503.08619v1
• Date: Tue, 11 Mar 2025 16:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:42:28.083669
• Title: LightGen: Efficient Image Generation through Knowledge Distillation and Direct Preference Optimization
• Title（参考訳）: LightGen:知識蒸留と直接選好最適化による効率的な画像生成
• Authors: Xianfeng Wu, Yajing Bai, Haoze Zheng, Harold Haodong Chen, Yexin Liu, Zihao Wang, Xuran Ma, Wen-Jie Shu, Xianzu Wu, Harry Yang, Ser-Nam Lim,
• Abstract要約: LightGenは、画像生成モデルのための効率的なトレーニングパラダイムである。 最先端(SOTA)テキスト・ツー・イメージモデルから知識を抽出し、コンパクトなMasked Autoregressiveアーキテクチャに変換する。 実験では、LightGenがSOTAモデルに匹敵する画像生成品質を達成することを確認した。
• 参考スコア（独自算出の注目度）: 37.236005953016175
• License:
• Abstract: Recent advances in text-to-image generation have primarily relied on extensive datasets and parameter-heavy architectures. These requirements severely limit accessibility for researchers and practitioners who lack substantial computational resources. In this paper, we introduce \model, an efficient training paradigm for image generation models that uses knowledge distillation (KD) and Direct Preference Optimization (DPO). Drawing inspiration from the success of data KD techniques widely adopted in Multi-Modal Large Language Models (MLLMs), LightGen distills knowledge from state-of-the-art (SOTA) text-to-image models into a compact Masked Autoregressive (MAR) architecture with only $0.7B$ parameters. Using a compact synthetic dataset of just $2M$ high-quality images generated from varied captions, we demonstrate that data diversity significantly outweighs data volume in determining model performance. This strategy dramatically reduces computational demands and reduces pre-training time from potentially thousands of GPU-days to merely 88 GPU-days. Furthermore, to address the inherent shortcomings of synthetic data, particularly poor high-frequency details and spatial inaccuracies, we integrate the DPO technique that refines image fidelity and positional accuracy. Comprehensive experiments confirm that LightGen achieves image generation quality comparable to SOTA models while significantly reducing computational resources and expanding accessibility for resource-constrained environments. Code is available at https://github.com/XianfengWu01/LightGen
• Abstract（参考訳）: テキスト・ツー・イメージ生成の最近の進歩は、主に広範囲のデータセットとパラメータ・ヘビーなアーキテクチャに依存している。 これらの要件は、かなりの計算資源を欠いている研究者や実践者のアクセシビリティを著しく制限する。 本稿では,知識蒸留 (KD) と直接選好最適化 (DPO) を用いた画像生成モデルの効率的な訓練パラダイムである \model を紹介する。 MLLM(Multi-Modal Large Language Models)で広く採用されているデータKD技術の成功からインスピレーションを得たLightGenは、最新技術(SOTA)のテキスト・ツー・イメージモデルから、0.7億ドルのパラメータしか持たないコンパクトなMasked Autoregressive (MAR)アーキテクチャに知識を抽出する。 様々なキャプションから生成された200万ドル程度の高画質画像からなるコンパクトな合成データセットを用いて、データの多様性がモデル性能を決定する際のデータ量よりもはるかに優れていることを示す。 この戦略は、計算要求を劇的に減らし、トレーニング前の時間を、潜在的に数千のGPUデイから88のGPUデイに短縮する。 さらに、合成データの固有の欠点、特に高周波の詳細や空間的不正確性に対処するために、画像の忠実度と位置精度を向上するDPO技術を統合する。 総合的な実験により、LightGenはSOTAモデルに匹敵する画像生成品質を実現し、計算資源を大幅に削減し、資源制約のある環境へのアクセシビリティを拡大することを確認した。 コードはhttps://github.com/XianfengWu01/LightGenで入手できる。

関連論文リスト

• Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation [53.95204595640208]
  Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。 従来のアプローチでは、実際の画像の情報を活用することなく、高解像度で合成画像を生成してきた。 MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。
  論文  参考訳（メタデータ） (2024-11-26T02:23:31Z)
• Analysis of Classifier Training on Synthetic Data for Cross-Domain Datasets [4.696575161583618]
  本研究は、高度な運転支援システムと自律運転のためのカメラベースの交通標識認識アプリケーションに焦点を当てた。 合成データセットの増補パイプラインは、構造化影やガウスの特異なハイライトのような新しい増補プロセスを含む。 実験の結果、クロスドメインテストデータセットに適用した場合、ほとんどの場合、合成画像ベースアプローチは実際の画像ベーストレーニングよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-30T07:11:41Z)
• Diffusion Curriculum: Synthetic-to-Real Generative Curriculum Learning via Image-Guided Diffusion [19.54496184675988]
  品質の低いデータや少ないデータは、実際にディープニューラルネットワークをトレーニングする上で大きな課題となっている。 拡散カリキュラム(DisCL)は、訓練段階ごとに画像合成のイメージガイダンスレベルを調整する。 DisCLは、多様性や品質に弱いかもしれない高感度画像を学習するウォームアップとして、高品質な画像から特徴を学ぶことに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-17T15:33:35Z)
• Image-GS: Content-Adaptive Image Representation via 2D Gaussians [55.15950594752051]
  本稿では,コンテンツ適応型画像表現であるImage-GSを提案する。 異方性2Dガウスアンをベースとして、Image-GSは高いメモリ効率を示し、高速なランダムアクセスをサポートし、自然なレベルのディテールスタックを提供する。 画像-GSの一般的な効率性と忠実性は、最近のニューラルイメージ表現と業界標準テクスチャ圧縮機に対して検証される。 この研究は、機械認識、アセットストリーミング、コンテンツ生成など、適応的な品質とリソース制御を必要とする新しいアプリケーションを開発するための洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-07-02T00:45:21Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• High-Resolution Image Synthesis with Latent Diffusion Models [14.786952412297808]
  オートエンコーダ上での拡散モデルの訓練は、複雑性の低減と詳細保存の間のほぼ最適点に初めて到達することができる。 我々の潜伏拡散モデル(LDMs)は,様々なタスクにおける画像インペイントと高い競争性能の新たな技術を実現する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:25Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。