論文の概要: Preview-based Category Contrastive Learning for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2410.14143v1
• Date: Fri, 18 Oct 2024 03:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:22.649992
• Title: Preview-based Category Contrastive Learning for Knowledge Distillation
• Title（参考訳）: 知識蒸留のための予見的カテゴリー比較学習
• Authors: Muhe Ding, Jianlong Wu, Xue Dong, Xiaojie Li, Pengda Qin, Tian Gan, Liqiang Nie,
• Abstract要約: 知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
• 参考スコア（独自算出の注目度）: 53.551002781828146
• License:
• Abstract: Knowledge distillation is a mainstream algorithm in model compression by transferring knowledge from the larger model (teacher) to the smaller model (student) to improve the performance of student. Despite many efforts, existing methods mainly investigate the consistency between instance-level feature representation or prediction, which neglects the category-level information and the difficulty of each sample, leading to undesirable performance. To address these issues, we propose a novel preview-based category contrastive learning method for knowledge distillation (PCKD). It first distills the structural knowledge of both instance-level feature correspondence and the relation between instance features and category centers in a contrastive learning fashion, which can explicitly optimize the category representation and explore the distinct correlation between representations of instances and categories, contributing to discriminative category centers and better classification results. Besides, we introduce a novel preview strategy to dynamically determine how much the student should learn from each sample according to their difficulty. Different from existing methods that treat all samples equally and curriculum learning that simply filters out hard samples, our method assigns a small weight for hard instances as a preview to better guide the student training. Extensive experiments on several challenging datasets, including CIFAR-100 and ImageNet, demonstrate the superiority over state-of-the-art methods.
• Abstract（参考訳）: 知識蒸留は、より大きなモデル(教師)からより小さなモデル(学生)に知識を伝達し、学生のパフォーマンスを向上させることによって、モデル圧縮における主流のアルゴリズムである。 多くの努力にもかかわらず、既存の手法は主に、カテゴリレベルの情報を無視し、各サンプルの難易度を無視するインスタンスレベルの特徴表現や予測の整合性を調べ、望ましくないパフォーマンスをもたらす。 これらの課題に対処するため、我々は知識蒸留(PCKD)のための新しいプレビューベースのカテゴリーコントラスト学習手法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を対照的な学習方法で蒸留し、カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現の明確な相関を探求し、差別的なカテゴリ中心とより良い分類結果に寄与する。 さらに,各サンプルの難易度に応じて,学生がどの程度学習すべきかを動的に判断する新しいプレビュー戦略を導入する。 すべてのサンプルを等しく扱う既存の方法や、ハードサンプルをフィルターするだけのカリキュラム学習とは異なり、本手法は、学生のトレーニングを指導するためのプレビューとして、ハードインスタンスに少量の重みを割り当てる。 CIFAR-100やImageNetなど、いくつかの挑戦的なデータセットに対する大規模な実験は、最先端の手法よりも優れていることを示している。

関連論文リスト

• A Study on Representation Transfer for Few-Shot Learning [5.717951523323085]
  ほとんどショットの分類は、いくつかのラベル付き例を使って、新しいオブジェクトカテゴリを適切に分類することを目的としていない。 本研究では, 様々な特徴表現の体系的研究を行い, 数発の分類を行う。 より複雑なタスクからの学習は、数ショットの分類においてより良い表現を与える傾向にある。
  論文  参考訳（メタデータ） (2022-09-05T17:56:02Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• ECKPN: Explicit Class Knowledge Propagation Network for Transductive Few-shot Learning [53.09923823663554]
  クラスレベルの知識は、ほんの一握りのサンプルから人間が容易に学習することができる。 本稿では,この問題に対処する明示的クラス知識伝達ネットワーク(ECKPN)を提案する。 筆者らは,4つの数ショット分類ベンチマークについて広範な実験を行い,提案したECKPNが最先端の手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2021-06-16T02:29:43Z)
• Semi-supervised Active Learning for Instance Segmentation via Scoring Predictions [25.408505612498423]
  インスタンスセグメンテーションのための新規かつ原則的な半教師付きアクティブ学習フレームワークを提案する。 具体的には,クラス,バウンディングボックス,マスクの手がかりを明示的に評価するトリプレットスコア予測(tsp)という不確実性サンプリング戦略を提案する。 医用画像データセットを用いた結果から,提案手法が有意義な方法で利用可能なデータから知識を具現化することを示す。
  論文  参考訳（メタデータ） (2020-12-09T02:36:52Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Dynamic Sampling for Deep Metric Learning [7.010669841466896]
  深度メートル法学習は、視覚的に類似した画像を近くの場所にマッピングし、埋め込み多様体内の互いに視覚的に異なる画像を分離する。 トレーニングペアをネットワークに送受信し易い順に整理する動的サンプリング戦略を提案する。 これにより、ネットワークは、初期の簡単なトレーニングペアからカテゴリ間の一般的な境界を学習し、後のハードトレーニングサンプルに主に依存したモデルの詳細を確定することができる。
  論文  参考訳（メタデータ） (2020-04-24T09:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。