論文の概要: CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2410.14749v1
• Date: Thu, 17 Oct 2024 20:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:04.037213
• Title: CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks
• Title（参考訳）: CFTS-GAN:ジェネレーティブ・ディバイサル・ネットワークのための教師の育成
• Authors: Munsif Ali, Leonardo Rossi, Massimo Bertozzi,
• Abstract要約: GANでは、過度なフィットと破滅的な忘れ込みという、2つのよく知られた課題に直面しています。 本稿では,2つの課題を同時に考えるCFTS-GANのための連続的Few-shot Teacher-Student手法を提案する。
• 参考スコア（独自算出の注目度）: 0.5024983453990064
• License:
• Abstract: Few-shot and continual learning face two well-known challenges in GANs: overfitting and catastrophic forgetting. Learning new tasks results in catastrophic forgetting in deep learning models. In the case of a few-shot setting, the model learns from a very limited number of samples (e.g. 10 samples), which can lead to overfitting and mode collapse. So, this paper proposes a Continual Few-shot Teacher-Student technique for the generative adversarial network (CFTS-GAN) that considers both challenges together. Our CFTS-GAN uses an adapter module as a student to learn a new task without affecting the previous knowledge. To make the student model efficient in learning new tasks, the knowledge from a teacher model is distilled to the student. In addition, the Cross-Domain Correspondence (CDC) loss is used by both teacher and student to promote diversity and to avoid mode collapse. Moreover, an effective strategy of freezing the discriminator is also utilized for enhancing performance. Qualitative and quantitative results demonstrate more diverse image synthesis and produce qualitative samples comparatively good to very stronger state-of-the-art models.
• Abstract（参考訳）: GANでは、過度なフィットと破滅的な忘れ込みという、2つのよく知られた課題に直面しています。 新しいタスクの学習は、ディープラーニングモデルにおける破滅的な忘れ込みをもたらす。 数ショット設定の場合、モデルは非常に限られた数のサンプル(例:10サンプル)から学習し、オーバーフィッティングやモード崩壊につながる可能性がある。 そこで本稿では, 両課題を共に検討するCFTS-GANのための連続的Few-shot Teacher-Student手法を提案する。 我々のCFTS-GANは、従来の知識に影響を与えずに新しいタスクを学習するために、アダプタモジュールを学生として使用しています。 生徒モデルを新しい課題の学習に効率的にするため、教師モデルからの知識を学生に蒸留する。 さらに,教師と生徒の多様性向上とモデム崩壊防止のために,CDC(クロスドメイン対応)損失が使用されている。 また、判別器を凍結する効果的な戦略も、性能向上に活用する。 質的および定量的な結果は、より多様な画像合成を示し、非常に強力な最先端モデルに比較して質的サンプルを生成する。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• L2T-DLN: Learning to Teach with Dynamic Loss Network [4.243592852049963]
  既存の研究では、教師の反復モデル(1)は、学生モデルの現在の状態に基づいて損失関数を単に決定するだけである。 本稿では,まず,記憶単位を持つ教師モデルを設計し,時間的タスクとして損失調整を定式化する。 そして、ダイナミックな損失ネットワークにより、損失の状態を利用して、教師と生徒モデルとの相互作用を強化する教師の学習を支援する。
  論文  参考訳（メタデータ） (2023-10-30T07:21:40Z)
• Common Knowledge Learning for Generating Transferable Adversarial Examples [60.1287733223249]
  本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。 既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。 本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-01T09:07:12Z)
• End to End Generative Meta Curriculum Learning For Medical Data Augmentation [2.471925498075058]
  最近の医用画像合成増強技術は、GAN(Generative Adversarial Network)の集中的利用に依存している 本稿では,1つの教師モデルのみを用いて,タスク特化モデル(学生)をエンドツーエンドに学習する新しいメタカリキュラム学習手法を提案する。 GANのジェネレータと差別装置が互いに競合するのに対し、教師と生徒は、目標タスクにおける生徒のパフォーマンスを改善するために協力する。
  論文  参考訳（メタデータ） (2022-12-20T08:54:11Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Dynamic Contrastive Distillation for Image-Text Retrieval [90.05345397400144]
  画像テキスト検索モデルを圧縮するための新しいプラグイン動的コントラスト蒸留(DCD)フレームワークを提案する。 提案したDCD戦略を2つの最先端の視覚言語事前訓練モデル、すなわち ViLT と METER に適用することに成功している。 MS-COCOとFlickr30Kベンチマークの実験では、DCDフレームワークの有効性と効率が示されている。
  論文  参考訳（メタデータ） (2022-07-04T14:08:59Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。