論文の概要: Boosting Contrastive Learning with Relation Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2112.04174v1
- Date: Wed, 8 Dec 2021 08:49:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 14:41:09.211294
- Title: Boosting Contrastive Learning with Relation Knowledge Distillation
- Title（参考訳）: 関連知識蒸留によるコントラスト学習の促進
- Authors: Kai Zheng, Yuanjiang Wang, Ye Yuan
- Abstract要約: 関係知識蒸留 (Relation Knowledge Distillation, ReKD) を用いた関係性に関するコントラストパラダイムを提案する。
提案手法は,複数の軽量モデルにおいて大幅な改善を実現することを示す。
- 参考スコア（独自算出の注目度）: 12.14219750487548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While self-supervised representation learning (SSL) has proved to be
effective in the large model, there is still a huge gap between the SSL and
supervised method in the lightweight model when following the same solution. We
delve into this problem and find that the lightweight model is prone to
collapse in semantic space when simply performing instance-wise contrast. To
address this issue, we propose a relation-wise contrastive paradigm with
Relation Knowledge Distillation (ReKD). We introduce a heterogeneous teacher to
explicitly mine the semantic information and transferring a novel relation
knowledge to the student (lightweight model). The theoretical analysis supports
our main concern about instance-wise contrast and verify the effectiveness of
our relation-wise contrastive learning. Extensive experimental results also
demonstrate that our method achieves significant improvements on multiple
lightweight models. Particularly, the linear evaluation on AlexNet obviously
improves the current state-of-art from 44.7% to 50.1%, which is the first work
to get close to the supervised 50.5%. Code will be made available.
- Abstract（参考訳）: 自己教師付き表現学習(SSL)は大きなモデルでは有効であることが証明されているが、同じソリューションに従う場合の軽量モデルでは、SSLと教師付きメソッドの間には大きなギャップがある。
この問題を掘り下げると、軽量モデルは、単にインスタンスのコントラストを実行する場合、セマンティック空間で崩壊しがちである。
この問題に対処するために,関係知識蒸留(Relation Knowledge Distillation, ReKD)を用いた相互比較パラダイムを提案する。
我々は,意味情報を明示的にマイニングし,新しい関係知識を学生に伝達する異種教師を紹介する(軽量モデル)。
理論的分析は、事例的コントラストの主な懸念を支持し、関係的コントラスト学習の有効性を検証する。
また,本手法が複数の軽量モデルにおいて大きな改善をもたらすことを示す。
特に、AlexNetの線形評価は、現在の最先端を44.7%から50.1%に改善し、監督された50.5%に近づいた最初の研究である。
コードは利用可能になる。
関連論文リスト
- Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning [0.0]
本研究では,教師のプロジェクションヘッドを学生に再利用するtextscRetroを提案する。
実験結果から, 軽量モデルにおける最先端モデルに対して, 大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-05-24T07:53:09Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - ArCL: Enhancing Contrastive Learning with Augmentation-Robust
Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。
対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。
これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T09:26:20Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳（メタデータ） (2022-07-22T03:49:50Z) - Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。
提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。
実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-03-16T16:14:19Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z) - DisCo: Remedy Self-supervised Learning on Lightweight Models with
Distilled Contrastive Learning [94.89221799550593]
SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。
最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。
単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
論文 参考訳（メタデータ） (2021-04-19T08:22:52Z) - SEED: Self-supervised Distillation For Visual Representation [34.63488756535054]
SEED(Self-SupErvised Distillation)と呼ばれる新しい学習パラダイムを提案し、自己監督的な方法でその表現的知識を小さなアーキテクチャ(学生)に転送します。
私達はSEEDが下流の仕事の小さいネットワークの性能を劇的に高めることを示します。
論文 参考訳（メタデータ） (2021-01-12T20:04:50Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。