論文の概要: Enriching Knowledge Distillation with Intra-Class Contrastive Learning

• arxiv url: http://arxiv.org/abs/2509.22053v1
• Date: Fri, 26 Sep 2025 08:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.302986
• Title: Enriching Knowledge Distillation with Intra-Class Contrastive Learning
• Title（参考訳）: クラス内コントラスト学習による知識蒸留の充実
• Authors: Hua Yuan, Ning Xu, Xin Geng, Yong Rui,
• Abstract要約: ソフトラベルに含まれるクラス内情報を豊かにするために,教員養成中にクラス内コントラストロスを取り入れることを提案する。 クラス内コントラスト損失はクラス内多様性を豊かにすることができることが証明されている。
• 参考スコア（独自算出の注目度）: 40.40889547725741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the advent of knowledge distillation, much research has focused on how the soft labels generated by the teacher model can be utilized effectively. Existing studies points out that the implicit knowledge within soft labels originates from the multi-view structure present in the data. Feature variations within samples of the same class allow the student model to generalize better by learning diverse representations. However, in existing distillation methods, teacher models predominantly adhere to ground-truth labels as targets, without considering the diverse representations within the same class. Therefore, we propose incorporating an intra-class contrastive loss during teacher training to enrich the intra-class information contained in soft labels. In practice, we find that intra-class loss causes instability in training and slows convergence. To mitigate these issues, margin loss is integrated into intra-class contrastive learning to improve the training stability and convergence speed. Simultaneously, we theoretically analyze the impact of this loss on the intra-class distances and inter-class distances. It has been proved that the intra-class contrastive loss can enrich the intra-class diversity. Experimental results demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 知識蒸留の出現以来、教師モデルによって生成されたソフトラベルを効果的に活用する方法に多くの研究が注がれている。 既存の研究では、ソフトラベル内の暗黙の知識は、データに存在する多視点構造に由来することが指摘されている。 同じクラスのサンプルに含まれる特徴の変化により、学生モデルは多様な表現を学習することでより一般化できる。 しかし、既存の蒸留法では、教師モデルは、同じクラス内での多様な表現を考慮せずに、主にターゲットとしての地味ラベルに固執する。 そこで本研究では,ソフトラベルに含まれるクラス内情報を充実させるために,教員養成中にクラス内コントラストロスを取り入れることを提案する。 実際には、クラス内損失はトレーニングの不安定を招き、収束を遅くする。 これらの問題を緩和するために、マージン損失をクラス内コントラスト学習に統合し、トレーニング安定性と収束速度を改善する。 同時に、この損失がクラス内距離とクラス間距離に与える影響を理論的に分析する。 クラス内コントラスト損失はクラス内多様性を豊かにすることができることが証明されている。 実験の結果,提案手法の有効性が示された。

関連論文リスト

• Towards Class-wise Fair Adversarial Training via Anti-Bias Soft Label Distillation [16.35331551561344]
  敵対的トレーニング(AT)は、ディープニューラルネットワークの敵対的堅牢性を高める効果的なアプローチとして広く認識されている。 本稿では、この問題の根底にある要因を考察し、異なるクラスに対するソフトラベルの滑らかさの度合いを指摘する。 本稿では,反バイアスソフトラベル蒸留(ABSLD)を知識蒸留フレームワーク内で提案する。
  論文  参考訳（メタデータ） (2025-06-10T09:20:34Z)
• Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
  正対と負対を定義するために「連続的意味的類似性」の概念を導入する。 弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。 我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
  論文  参考訳（メタデータ） (2025-05-28T06:50:40Z)
• Relation-Guided Adversarial Learning for Data-free Knowledge Transfer [9.069156418033174]
  本稿では,三重項損失を考慮したリレーショナルガイド型逆学習手法を提案する。 本手法は,生成標本のクラス内多様性とクラス間混同を促進することを目的としている。 RGALは従来の最先端手法に比べて精度とデータ効率が大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-16T02:11:02Z)
• Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning [2.395881636777087]
  クラスバランス学習においても、ある種の弱いクラスが一貫して存在することを観察する。 クラス間精度の差は、FashionMNISTとCIFAR-10データセットのフェデレーション学習で36.9%以上に達する。 弱いクラスに対するモデルの分類精度を向上させるために, 部分的知識蒸留法(PKD)を提案する。
  論文  参考訳（メタデータ） (2024-11-23T01:16:46Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
  ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。 本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。 提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-07-11T12:10:42Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。