論文の概要: CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective

• arxiv url: http://arxiv.org/abs/2404.14109v2
• Date: Tue, 25 Mar 2025 06:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:49:48.868220
• Title: CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective
• Title（参考訳）: CKD: サンプルの観点からの対照的な知識蒸留
• Authors: Wencheng Zhu, Xin Zhou, Pengfei Zhu, Yu Wang, Qinghua Hu,
• Abstract要約: セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
• 参考スコア（独自算出の注目度）: 48.99488315273868
• License:
• Abstract: In this paper, we propose a simple yet effective contrastive knowledge distillation framework that achieves sample-wise logit alignment while preserving semantic consistency. Conventional knowledge distillation approaches exhibit over-reliance on feature similarity per sample, which risks overfitting, and contrastive approaches focus on inter-class discrimination at the expense of intra-sample semantic relationships. Our approach transfers "dark knowledge" through teacher-student contrastive alignment at the sample level. Specifically, our method first enforces intra-sample alignment by directly minimizing teacher-student logit discrepancies within individual samples. Then, we utilize inter-sample contrasts to preserve semantic dissimilarities across samples. By redefining positive pairs as aligned teacher-student logits from identical samples and negative pairs as cross-sample logit combinations, we reformulate these dual constraints into an InfoNCE loss framework, reducing computational complexity lower than sample squares while eliminating dependencies on temperature parameters and large batch sizes. We conduct comprehensive experiments across three benchmark datasets, including the CIFAR-100, ImageNet-1K, and MS COCO datasets, and experimental results clearly confirm the effectiveness of the proposed method on image classification, object detection, and instance segmentation tasks.
• Abstract（参考訳）: 本稿では, セマンティック一貫性を維持しつつ, サンプル単位のロジットアライメントを実現するための, 単純かつ効果的なコントラッシブな知識蒸留フレームワークを提案する。 従来の知識蒸留手法では、サンプルごとの特徴的類似性が過剰に適合する危険性があり、対照的に、サンプル内の意味的関係を犠牲にして、クラス間の差別に重点を置いている。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 具体的には,本手法はまず,個々のサンプル中の教師と学生の対数差を最小化することにより,サンプル内アライメントを施行する。 次に,サンプル間のコントラストを用いて,サンプル間の意味的相違を保存する。 正の対を同一サンプルから整列した教師-学生ロジット、負の対をクロスサンプルロジットの組み合わせから再定義することにより、これらの双対制約をInfoNCE損失フレームワークに再定義し、サンプル正方形よりも計算複雑性を低減し、温度パラメータや大きなバッチサイズへの依存を排除した。 CIFAR-100, ImageNet-1K, MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行い, 提案手法が画像分類, オブジェクト検出, インスタンス分割タスクに与える影響を実験的に検証した。

関連論文リスト

• Rethinking the Sample Relations for Few-Shot Classification [10.98165110941327]
  MGRCL(Multi-Grained Relation Contrastive Learning)は、プレトレーニング済みの機能学習モデルである。 MGRCLはサンプル関係を3つのタイプに分類する: 同一試料の異なる変換の下でのサンプル内関係、同種試料のクラス内関係、不均一試料のクラス間関係。
  論文  参考訳（メタデータ） (2025-01-23T06:45:17Z)
• Task-oriented Embedding Counts: Heuristic Clustering-driven Feature Fine-tuning for Whole Slide Image Classification [1.292108130501585]
  本稿では,クラスタリング駆動型機能微調整法(HC-FT)を提案する。 提案手法はCAMELYON16とBRACSの両方で評価され,それぞれ97.13%,85.85%のAUCが得られた。
  論文  参考訳（メタデータ） (2024-06-02T08:53:45Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Additional Positive Enables Better Representation Learning for Medical Images [17.787804928943057]
  本稿では,SOTA(State-of-the-art)自己教師型学習フレームワークであるBYOLに対して,新たな肯定的なペアを特定する方法を提案する。 各画像に対して、他の画像から最も類似したサンプルを付加陽性として選択し、BYOL損失とともに特徴を引き出す。 2つの公開医療データセットの実験結果から,提案手法が分類性能を向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-31T18:37:02Z)
• Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap [50.48888534815361]
  コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。 CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
  論文  参考訳（メタデータ） (2022-06-01T13:03:58Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Similarity Transfer for Knowledge Distillation [25.042405967561212]
  知識蒸留は、大きなモデルから小さなモデルに知識を移すことで、ポータブルニューラルネットワークを学ぶための一般的なパラダイムである。 本稿では,複数試料のカテゴリ間の類似性を十分に活用することを目的とした,知識蒸留のための類似性伝達法(stkd)を提案する。 その結果, stkdはバニラ知識蒸留法を実質的に上回り, 最先端知識蒸留法よりも精度が高かった。
  論文  参考訳（メタデータ） (2021-03-18T06:54:59Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。