論文の概要: Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition

• arxiv url: http://arxiv.org/abs/2207.11518v2
• Date: Mon, 27 Mar 2023 14:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:03:29.224600
• Title: Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition
• Title（参考訳）: 視覚認識のための相互コントラスト学習によるオンライン知識蒸留
• Authors: Chuanguang Yang, Zhulin An, Helong Zhou, Fuzhen Zhuang, Yongjun Xu, Qian Zhan
• Abstract要約: オンライン知識蒸留(KD)のための相互コントラスト学習(MCL)フレームワークを提案する。 我々のMCLは、クロスネットワーク埋め込み情報を集約し、2つのネットワーク間の相互情報に対する低境界を最大化することができる。 画像分類と視覚認識タスクへの変換学習の実験は、階層的MCLが一貫した性能向上につながることを示す。
• 参考スコア（独自算出の注目度）: 27.326420185846327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The teacher-free online Knowledge Distillation (KD) aims to train an ensemble of multiple student models collaboratively and distill knowledge from each other. Although existing online KD methods achieve desirable performance, they often focus on class probabilities as the core knowledge type, ignoring the valuable feature representational information. We present a Mutual Contrastive Learning (MCL) framework for online KD. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of networks in an online manner. Our MCL can aggregate cross-network embedding information and maximize the lower bound to the mutual information between two networks. This enables each network to learn extra contrastive knowledge from others, leading to better feature representations, thus improving the performance of visual recognition tasks. Beyond the final layer, we extend MCL to intermediate layers and perform an adaptive layer-matching mechanism trained by meta-optimization. Experiments on image classification and transfer learning to visual recognition tasks show that layer-wise MCL can lead to consistent performance gains against state-of-the-art online KD approaches. The superiority demonstrates that layer-wise MCL can guide the network to generate better feature representations. Our code is publicly avaliable at https://github.com/winycg/L-MCL.
• Abstract（参考訳）: 教師なしオンライン知識蒸留(KD)は、複数の学生モデルのアンサンブルを協調的に訓練し、相互に知識を蒸留することを目的としている。 既存のオンラインKD手法は望ましい性能を達成するが、それらはしばしば、価値ある特徴表現情報を無視して、中核的な知識型としてのクラス確率に焦点を当てる。 オンラインKDのためのMCL(Multual Contrastive Learning)フレームワークを提案する。 MCLの中核となる考え方は、ネットワークのコホート間で相互に相互作用し、コントラスト分布をオンライン的に転送することである。 mclはクロスネットワーク埋め込み情報を集約し、2つのネットワーク間の相互情報に対する下限を最大化することができる。 これにより、各ネットワークは他のネットワークからさらにコントラスト的な知識を学ぶことができ、より優れた特徴表現が得られ、視覚認識タスクのパフォーマンスが向上する。 最終層を超えて、MCLを中間層に拡張し、メタ最適化によってトレーニングされた適応層マッチング機構を実行する。 画像分類と視覚認識タスクへの変換学習の実験は、階層的MCLが最先端のオンラインKDアプローチに対して一貫したパフォーマンス向上をもたらすことを示している。 アドバンテージは、レイヤワイズ MCL がネットワークを誘導し、より良い特徴表現を生成することを示した。 私たちのコードはhttps://github.com/winycg/L-MCLで公開されています。

関連論文リスト

• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Mutual Contrastive Learning for Visual Representation Learning [1.9355744690301404]
  本稿では,汎用視覚表現学習のための相互コントラスト学習(mcl)と呼ばれる協調学習手法を提案する。 mclの利点により、各モデルは他のモデルからさらに対照的な知識を学べ、より有意義な特徴表現に繋がる。 教師付きおよび自己教師付き画像分類、転送学習および少数ショット学習の実験結果は、mclが一貫したパフォーマンス向上をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-04-26T13:32:33Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Multi-level Knowledge Distillation [13.71183256776644]
  教師から学生ネットワークへより豊かな表現的知識を伝達するために,MLKD(Multi-level Knowledge Distillation)を導入する。 MLKDは、個人類似性、関係類似性、カテゴリー類似性という3つの新しい教師-学生類似性を採用している。 実験により、MLKDは同様のアーキテクチャタスクとクロスアーキテクチャタスクの両方において、他の最先端メソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-12-01T15:27:15Z)
• Knowledge Transfer via Dense Cross-Layer Mutual-Distillation [24.24969126783315]
  教師と学生のネットワークをゼロから協調的に訓練するDense Cross-layer Mutual-distillation (DCM)を提案する。 KT性能を高めるために,付加型分類器を用いた層間双方向KD操作を導入する。 提案手法は様々なKTタスクでテストし,関連する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T09:25:08Z)
• Multi-view Contrastive Learning for Online Knowledge Distillation [12.250230630124758]
  従来のオンライン知識蒸留(OKD)では、確率分布を相互に交換することが多い。 複数ピアネットワークで符号化された特徴埋め込みの相関関係を暗黙的に捉えるために,OKDのためのMulti-view Contrastive Learning (MCL)を提案する。
  論文  参考訳（メタデータ） (2020-06-07T09:11:28Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。