論文の概要: Temporal Knowledge Consistency for Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2108.10668v1
• Date: Tue, 24 Aug 2021 12:14:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:17:14.788925
• Title: Temporal Knowledge Consistency for Unsupervised Visual Representation Learning
• Title（参考訳）: 教師なし視覚表現学習のための時間的知識整合性
• Authors: Weixin Feng, Yuanjiang Wang, Lihua Ma, Ye Yuan, Chi Zhang
• Abstract要約: まず、インスタンスの時間的一貫性を現在のインスタンス識別パラダイムに統合し、TKC(Temporal Knowledge Consistency)という新しい強力なアルゴリズムを提案する。 我々のTKCは、時間的教師の知識を動的にアンサンブルし、時間的整合性を学ぶことの重要性に応じて有用な情報を適応的に選択する。 実験の結果,TKCは線形評価プロトコル上でResNetとAlexNetの両方の視覚表現を学習できることがわかった。
• 参考スコア（独自算出の注目度）: 10.461486621654556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The instance discrimination paradigm has become dominant in unsupervised learning. It always adopts a teacher-student framework, in which the teacher provides embedded knowledge as a supervision signal for the student. The student learns meaningful representations by enforcing instance spatial consistency with the views from the teacher. However, the outputs of the teacher can vary dramatically on the same instance during different training stages, introducing unexpected noise and leading to catastrophic forgetting caused by inconsistent objectives. In this paper, we first integrate instance temporal consistency into current instance discrimination paradigms, and propose a novel and strong algorithm named Temporal Knowledge Consistency (TKC). Specifically, our TKC dynamically ensembles the knowledge of temporal teachers and adaptively selects useful information according to its importance to learning instance temporal consistency. Experimental result shows that TKC can learn better visual representations on both ResNet and AlexNet on linear evaluation protocol while transfer well to downstream tasks. All experiments suggest the good effectiveness and generalization of our method.
• Abstract（参考訳）: インスタンス識別パラダイムは教師なし学習において支配的になっている。 教師が生徒の指導信号として組込みの知識を提供するという、教師中心の枠組みを常に採用している。 生徒は、教師の見解とインスタンスの空間的一貫性を強制することによって意味のある表現を学ぶ。 しかし、教師の出力は、異なる訓練段階において同じ事例で劇的に変化し、予期せぬノイズが引き起こされ、矛盾した目的によって壊滅的な忘れが引き起こされる。 本稿では、まずインスタンスの時間的一貫性を現在のインスタンス識別パラダイムに統合し、時間的知識一貫性(TKC)という新しい強力なアルゴリズムを提案する。 具体的には,tkcは時間的教師の知識を動的に整理し,学習例の時間的一貫性を重視した有用な情報を適応的に選択する。 実験結果から、TKCは線形評価プロトコル上でResNetとAlexNetの両方の視覚表現を学習し、下流タスクにうまく転送できることがわかった。 すべての実験から,本手法の有効性と一般化が示唆された。

関連論文リスト

• DCD: Discriminative and Consistent Representation Distillation [6.24302896438145]
  本研究では,大きな教師モデルからより小さな学生モデルへ知識を伝達するための識別・一貫性蒸留(DCD)を提案する。 DCDは、教師と生徒の表現の分布の相違を最小限に抑えるために、一貫性の規則化とともに対照的な損失を生んでいる。 学生モデルが教師の精度を上回りながら,DCDが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-07-16T14:53:35Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Contrastive Spatio-Temporal Pretext Learning for Self-supervised Video Representation [16.643709221279764]
  本稿では,新しいプレテキストタスク-時間的重複率(STOR)予測を提案する。 それは、人間が空間と時間におけるビデオの重複率を識別できるという観察に由来する。 我々は、時間的表現学習を強化するために、コントラスト学習を組み合わせた共同作業を採用する。
  論文  参考訳（メタデータ） (2021-12-16T14:31:22Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。