論文の概要: KD-DLGAN: Data Limited Image Generation via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2303.17158v1
• Date: Thu, 30 Mar 2023 05:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 14:27:19.160655
• Title: KD-DLGAN: Data Limited Image Generation via Knowledge Distillation
• Title（参考訳）: KD-DLGAN:知識蒸留によるデータ限定画像生成
• Authors: Kaiwen Cui, Yingchen Yu, Fangneng Zhan, Shengcai Liao, Shijian Lu1, Eric Xing
• Abstract要約: GAN(Generative Adversarial Networks)は、高品質な画像生成モデルをトレーニングするための大規模なトレーニングデータに大きく依存している。 KD-DLGANは知識蒸留に基づく,効率的なデータ限定生成モデルのトレーニングのための事前学習型視覚言語モデルを提案する。 複数のベンチマーク実験により、KD-DLGANは訓練データに制限のある優れた画像生成を実現することが示された。
• 参考スコア（独自算出の注目度）: 33.60679572196113
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative Adversarial Networks (GANs) rely heavily on large-scale training data for training high-quality image generation models. With limited training data, the GAN discriminator often suffers from severe overfitting which directly leads to degraded generation especially in generation diversity. Inspired by the recent advances in knowledge distillation (KD), we propose KD-DLGAN, a knowledge-distillation based generation framework that introduces pre-trained vision-language models for training effective data-limited generation models. KD-DLGAN consists of two innovative designs. The first is aggregated generative KD that mitigates the discriminator overfitting by challenging the discriminator with harder learning tasks and distilling more generalizable knowledge from the pre-trained models. The second is correlated generative KD that improves the generation diversity by distilling and preserving the diverse image-text correlation within the pre-trained models. Extensive experiments over multiple benchmarks show that KD-DLGAN achieves superior image generation with limited training data. In addition, KD-DLGAN complements the state-of-the-art with consistent and substantial performance gains.
• Abstract（参考訳）: generative adversarial networks (gans) は高品質な画像生成モデルを訓練するための大規模トレーニングデータに大きく依存している。 訓練データが少ないため、GAN識別器は過度なオーバーフィッティングに悩まされ、特に世代多様性において直接的に劣化する。 知識蒸留(KD)の最近の進歩にインスパイアされた知識蒸留ベースの生成フレームワークであるKD-DLGANを提案する。 KD-DLGANは2つの革新的な設計で構成されている。 1つ目は、識別器に難しい学習課題を課し、事前訓練されたモデルからより一般化可能な知識を蒸留することにより、識別器過適合を緩和する生成KDである。 2つ目は、事前訓練されたモデル内の多様な画像テキスト相関を蒸留保存することにより、生成の多様性を向上させる相関生成KDである。 複数のベンチマークに対する大規模な実験により、KD-DLGANは訓練データに制限のある優れた画像生成を実現することが示された。 さらに、KD-DLGANは最先端を補完し、一貫性と実質的なパフォーマンス向上を実現している。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• DCD: Discriminative and Consistent Representation Distillation [6.24302896438145]
  本研究では,大きな教師モデルからより小さな学生モデルへ知識を伝達するための識別・一貫性蒸留(DCD)を提案する。 DCDは、教師と生徒の表現の分布の相違を最小限に抑えるために、一貫性の規則化とともに対照的な損失を生んでいる。 学生モデルが教師の精度を上回りながら,DCDが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-07-16T14:53:35Z)
• DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
  DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。 DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-02-06T11:10:35Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Data Upcycling Knowledge Distillation for Image Super-Resolution [25.753554952896096]
  知識蒸留(KD)は、教師モデルから生徒モデルへのタスク関連知識の伝達によって、ディープニューラルネットワークを圧縮する。 本稿では,教師モデルの知識を学習者モデルに伝達するために,学習データから得られたドメイン内データを用いて,データリサイクル知識蒸留(DuKD)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T14:13:26Z)
• GenCo: Generative Co-training on Data-Limited Image Generation [41.45518513729391]
  我々は,複数の相補的識別器を導入することで,識別器過適合問題を緩和する生成的協調学習ネットワークを設計する。 複数のベンチマークによる実験によると、GenCoは限られたトレーニングデータで優れた世代を達成している。
  論文  参考訳（メタデータ） (2021-10-04T08:45:53Z)
• D2C: Diffusion-Denoising Models for Few-shot Conditional Generation [109.68228014811443]
  コントラスト表現を用いた拡散復号モデル(D2C)について述べる。 D2Cは、学習した拡散に基づく遅延表現を用いて、表現品質を改善するために、生成と対照的な自己教師付き学習を改善する。 条件付き画像操作では、D2C世代はStyleGAN2世代よりも2桁早く生成でき、二重盲検でヒト評価者の50%から60%が好んでいる。
  論文  参考訳（メタデータ） (2021-06-12T16:32:30Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。