論文の概要: Relation-Guided Adversarial Learning for Data-free Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2412.11380v1
- Date: Mon, 16 Dec 2024 02:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:18.240625
- Title: Relation-Guided Adversarial Learning for Data-free Knowledge Transfer
- Title（参考訳）: データフリーな知識伝達のための関係案内型逆学習
- Authors: Yingping Liang, Ying Fu,
- Abstract要約: 本稿では,三重項損失を考慮したリレーショナルガイド型逆学習手法を提案する。
本手法は,生成標本のクラス内多様性とクラス間混同を促進することを目的としている。
RGALは従来の最先端手法に比べて精度とデータ効率が大幅に向上した。
- 参考スコア（独自算出の注目度）: 9.069156418033174
- License:
- Abstract: Data-free knowledge distillation transfers knowledge by recovering training data from a pre-trained model. Despite the recent success of seeking global data diversity, the diversity within each class and the similarity among different classes are largely overlooked, resulting in data homogeneity and limited performance. In this paper, we introduce a novel Relation-Guided Adversarial Learning method with triplet losses, which solves the homogeneity problem from two aspects. To be specific, our method aims to promote both intra-class diversity and inter-class confusion of the generated samples. To this end, we design two phases, an image synthesis phase and a student training phase. In the image synthesis phase, we construct an optimization process to push away samples with the same labels and pull close samples with different labels, leading to intra-class diversity and inter-class confusion, respectively. Then, in the student training phase, we perform an opposite optimization, which adversarially attempts to reduce the distance of samples of the same classes and enlarge the distance of samples of different classes. To mitigate the conflict of seeking high global diversity and keeping inter-class confusing, we propose a focal weighted sampling strategy by selecting the negative in the triplets unevenly within a finite range of distance. RGAL shows significant improvement over previous state-of-the-art methods in accuracy and data efficiency. Besides, RGAL can be inserted into state-of-the-art methods on various data-free knowledge transfer applications. Experiments on various benchmarks demonstrate the effectiveness and generalizability of our proposed method on various tasks, specially data-free knowledge distillation, data-free quantization, and non-exemplar incremental learning. Our code is available at https://github.com/Sharpiless/RGAL.
- Abstract（参考訳）: データフリーな知識蒸留は、事前訓練されたモデルからトレーニングデータを復元することで知識を伝達する。
近年、グローバルなデータ多様性の追求が成功しているにもかかわらず、各クラス内の多様性と異なるクラス間の類似性はほとんど見過ごされ、データ均一性と限られた性能をもたらす。
本稿では,三重項損失を考慮したリレーショナルガイド型逆学習手法を提案する。
本手法は, クラス内多様性とクラス間混乱を両立させることを目的としている。
この目的のために、画像合成フェーズと学生訓練フェーズという2つのフェーズを設計する。
画像合成フェーズでは,同一ラベルのサンプルを抽出し,異なるラベルのサンプルを抽出する最適化プロセスを構築し,クラス内の多様性とクラス間の混乱をもたらす。
そして, 生徒の学習段階において, 反対の最適化を行い, 逆向きに同一クラスのサンプル距離を減らし, 異なるクラスのサンプル距離を増大させようとする。
グローバルな多様性を追求する対立を緩和し,クラス間を混乱させ続けるために,三重項の負を有限範囲内で不均一に選択して焦点重み付けサンプリング戦略を提案する。
RGALは従来の最先端手法に比べて精度とデータ効率が大幅に向上した。
さらに、RGALは様々なデータフリーな知識伝達アプリケーションで最先端の手法に挿入することができる。
各種ベンチマーク実験により,データフリーな知識蒸留,データフリーな量子化,非初歩的な漸進学習など,様々なタスクにおける提案手法の有効性と一般化性を示す。
私たちのコードはhttps://github.com/Sharpiless/RGAL.comで利用可能です。
関連論文リスト
- CorrSynth -- A Correlated Sampling Method for Diverse Dataset Generation from LLMs [5.89889361990138]
大規模言語モデル(LLM)は、ゼロショットプロンプトと少数ショットプロンプトを使用して、多様なタスクにおいて顕著な性能を示した。
本研究では,下流の課題に対して,学生モデルが訓練されるような,多様性の高いデータセットを生成するという課題に取り組む。
復号時間誘導に基づくアプローチの経路を考慮し、相関したサンプリング戦略を用いて、入力プロンプトにより多様で忠実なデータを生成するCorr Synthを提案する。
論文 参考訳（メタデータ） (2024-11-13T12:09:23Z) - Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。
本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。
CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
論文 参考訳（メタデータ） (2024-04-22T11:52:40Z) - Segue: Side-information Guided Generative Unlearnable Examples for
Facial Privacy Protection in Real World [64.4289385463226]
生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。
転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。
JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
論文 参考訳（メタデータ） (2023-10-24T06:22:37Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Implicit Data Augmentation Using Feature Interpolation for Diversified
Low-Shot Image Generation [11.4559888429977]
生成モデルのトレーニングは、低データ設定で容易に発散することができる。
そこで本研究では,安定したトレーニングと多様なサンプルの合成を容易にする,新しい暗黙的データ拡張手法を提案する。
論文 参考訳（メタデータ） (2021-12-04T23:55:46Z) - Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。
2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。
具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
論文 参考訳（メタデータ） (2021-10-14T14:39:39Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳（メタデータ） (2021-05-01T00:43:38Z) - Imbalanced Data Learning by Minority Class Augmentation using Capsule
Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。
我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。
カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文 参考訳（メタデータ） (2020-04-05T12:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。