Fugu-MT 論文翻訳(概要): Multi-view Contrastive Learning for Online Knowledge Distillation

論文の概要: Multi-view Contrastive Learning for Online Knowledge Distillation

arxiv url: http://arxiv.org/abs/2006.04093v3
Date: Sat, 10 Apr 2021 08:49:09 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 07:46:46.327708
Title: Multi-view Contrastive Learning for Online Knowledge Distillation
Title（参考訳）: オンライン知識蒸留のためのマルチビューコントラスト学習
Authors: Chuanguang Yang, Zhulin An, Yongjun Xu
Abstract要約: 従来のオンライン知識蒸留(OKD)では、確率分布を相互に交換することが多い。複数ピアネットワークで符号化された特徴埋め込みの相関関係を暗黙的に捉えるために,OKDのためのMulti-view Contrastive Learning (MCL)を提案する。
参考スコア（独自算出の注目度）: 12.250230630124758
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Previous Online Knowledge Distillation (OKD) often carries out mutually exchanging probability distributions, but neglects the useful representational knowledge. We therefore propose Multi-view Contrastive Learning (MCL) for OKD to implicitly capture correlations of feature embeddings encoded by multiple peer networks, which provide various views for understanding the input data instances. Benefiting from MCL, we can learn a more discriminative representation space for classification than previous OKD methods. Experimental results on image classification demonstrate that our MCL-OKD outperforms other state-of-the-art OKD methods by large margins without sacrificing additional inference cost. Codes are available at https://github.com/winycg/MCL-OKD.
Abstract（参考訳）: 従来のオンライン知識蒸留(OKD)はしばしば相互に確率分布を交換するが、有用な表現的知識は無視する。そこで我々は,複数のピアネットワークで符号化された特徴埋め込みの相関関係を暗黙的に捉えるために,OKDのためのMulti-view Contrastive Learning (MCL)を提案する。 MCLの利点は、従来のOKD法よりも分類のためのより差別的な表現空間を学習できることである。画像分類実験の結果, MCL-OKDは, 追加の推論コストを犠牲にすることなく, 従来のOKD法よりも高い性能を示した。コードはhttps://github.com/winycg/MCL-OKDで入手できる。

関連論文リスト

Dynamic Evidence Decoupling for Trusted Multi-view Learning [17.029245880233816]
本稿では,一貫性と相補性を考慮したマルチビューラーニング(CCML)手法を提案する。我々はまず,信念の質量ベクトルと不確実性推定からなる明らかな深層ニューラルネットワークを用いて,見解を構築する。その結果, 動的エビデンスデカップリング戦略の有効性を検証し, CCMLが精度と信頼性の基準線を著しく上回ることを示した。
論文参考訳（メタデータ） (2024-10-04T03:27:51Z)
Enhancing Graph Contrastive Learning with Reliable and Informative Augmentation for Recommendation [84.45144851024257]
CoGCLは、離散コードを通じてより強力な協調情報でコントラスト的なビューを構築することで、グラフのコントラスト学習を強化することを目的としている。ユーザとアイテムの表現を離散コードに定量化するために,マルチレベルベクトル量化器をエンドツーエンドで導入する。近傍構造に対しては,離散符号を仮想隣人として扱うことにより,仮想隣人拡張を提案する。意味的関連性については、共有された離散コードと相互作用ターゲットに基づいて類似のユーザ/イテムを識別し、意味的関連性のあるビューを生成する。
論文参考訳（メタデータ） (2024-09-09T14:04:17Z)
Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文参考訳（メタデータ） (2024-04-28T08:44:28Z)
Data-free Knowledge Distillation for Fine-grained Visual Categorization [9.969720644789781]
本稿では,DFKDを細粒度視覚分類(FGVC)タスクに拡張するDFKD-FGVCという手法を提案する。本研究では,広く使用されている3つのFGVCベンチマーク(Aircraft,Cars196,CUB200)に対するアプローチを評価し,その性能を実証した。
論文参考訳（メタデータ） (2024-04-18T09:44:56Z)
Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
論文参考訳（メタデータ） (2023-05-30T01:38:54Z)
Rank Flow Embedding for Unsupervised and Semi-Supervised Manifold Learning [9.171175292808144]
本稿では,教師なしおよび半教師付きシナリオに対するランクフロー埋め込み (RFE) という新しい多様体学習アルゴリズムを提案する。 RFEは文脈に敏感な埋め込みを計算し、それはランクベースの処理フローに従って洗練される。生成された埋め込みは、より効果的な教師なし検索や半教師付き分類に利用することができる。
論文参考訳（メタデータ） (2023-04-24T21:02:12Z)
Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity [61.05259660910437]
複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
論文参考訳（メタデータ） (2022-09-16T09:24:00Z)
Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition [27.326420185846327]
オンライン知識蒸留(KD)のための相互コントラスト学習(MCL)フレームワークを提案する。我々のMCLは、クロスネットワーク埋め込み情報を集約し、2つのネットワーク間の相互情報に対する低境界を最大化することができる。画像分類と視覚認識タスクへの変換学習の実験は、階層的MCLが一貫した性能向上につながることを示す。
論文参考訳（メタデータ） (2022-07-23T13:39:01Z)
A Non-isotropic Probabilistic Take on Proxy-based Deep Metric Learning [49.999268109518255]
プロキシベースのDeep Metric Learningは、クラス代表者(プロキシ)に画像を埋め込むことで学習するさらに、プロキシベースのDMLは、クラス内部構造を学ぶのに苦労している。両問題に対処するために,非等方的確率的プロキシベースDMLを導入する。
論文参考訳（メタデータ） (2022-07-08T09:34:57Z)
Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文参考訳（メタデータ） (2022-06-20T03:09:46Z)
TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning [35.76792527025377]
半教師付きマルチモーダル学習のための新しい情報理論アプローチである textbfTotal textbfCorrelation textbfGain textbfMaximization (TCGM) を提案する。本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など,最先端の成果を達成する。
論文参考訳（メタデータ） (2020-07-14T03:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。