論文の概要: Temporal Knowledge Consistency for Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2108.10668v1
• Date: Tue, 24 Aug 2021 12:14:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:17:14.788925
• Title: Temporal Knowledge Consistency for Unsupervised Visual Representation Learning
• Title（参考訳）: 教師なし視覚表現学習のための時間的知識整合性
• Authors: Weixin Feng, Yuanjiang Wang, Lihua Ma, Ye Yuan, Chi Zhang
• Abstract要約: まず、インスタンスの時間的一貫性を現在のインスタンス識別パラダイムに統合し、TKC(Temporal Knowledge Consistency)という新しい強力なアルゴリズムを提案する。 我々のTKCは、時間的教師の知識を動的にアンサンブルし、時間的整合性を学ぶことの重要性に応じて有用な情報を適応的に選択する。 実験の結果,TKCは線形評価プロトコル上でResNetとAlexNetの両方の視覚表現を学習できることがわかった。
• 参考スコア（独自算出の注目度）: 10.461486621654556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The instance discrimination paradigm has become dominant in unsupervised learning. It always adopts a teacher-student framework, in which the teacher provides embedded knowledge as a supervision signal for the student. The student learns meaningful representations by enforcing instance spatial consistency with the views from the teacher. However, the outputs of the teacher can vary dramatically on the same instance during different training stages, introducing unexpected noise and leading to catastrophic forgetting caused by inconsistent objectives. In this paper, we first integrate instance temporal consistency into current instance discrimination paradigms, and propose a novel and strong algorithm named Temporal Knowledge Consistency (TKC). Specifically, our TKC dynamically ensembles the knowledge of temporal teachers and adaptively selects useful information according to its importance to learning instance temporal consistency. Experimental result shows that TKC can learn better visual representations on both ResNet and AlexNet on linear evaluation protocol while transfer well to downstream tasks. All experiments suggest the good effectiveness and generalization of our method.
• Abstract（参考訳）: インスタンス識別パラダイムは教師なし学習において支配的になっている。 教師が生徒の指導信号として組込みの知識を提供するという、教師中心の枠組みを常に採用している。 生徒は、教師の見解とインスタンスの空間的一貫性を強制することによって意味のある表現を学ぶ。 しかし、教師の出力は、異なる訓練段階において同じ事例で劇的に変化し、予期せぬノイズが引き起こされ、矛盾した目的によって壊滅的な忘れが引き起こされる。 本稿では、まずインスタンスの時間的一貫性を現在のインスタンス識別パラダイムに統合し、時間的知識一貫性(TKC)という新しい強力なアルゴリズムを提案する。 具体的には,tkcは時間的教師の知識を動的に整理し,学習例の時間的一貫性を重視した有用な情報を適応的に選択する。 実験結果から、TKCは線形評価プロトコル上でResNetとAlexNetの両方の視覚表現を学習し、下流タスクにうまく転送できることがわかった。 すべての実験から,本手法の有効性と一般化が示唆された。

関連論文リスト

• Progressive distillation induces an implicit curriculum [44.528775476168654]
  より良い教師は必ずしも良い生徒を産むとは限らない。 この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。 スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
  論文  参考訳（メタデータ） (2024-10-07T19:49:24Z)
• Representational Alignment Supports Effective Machine Teaching [81.19197059407121]
  GRADEは、教育と表現的アライメントを研究するための新しい制御された実験環境である。 学生との表現的整合性が向上し,生徒の学習成果が向上することがわかった。 しかし、この効果は、教えられているクラスのサイズと表現の多様性によって中和される。
  論文  参考訳（メタデータ） (2024-06-06T17:48:24Z)
• Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble [56.705249154629264]
  NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。 本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。 微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
  論文  参考訳（メタデータ） (2022-12-13T12:14:09Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Contrastive Spatio-Temporal Pretext Learning for Self-supervised Video Representation [16.643709221279764]
  本稿では,新しいプレテキストタスク-時間的重複率(STOR)予測を提案する。 それは、人間が空間と時間におけるビデオの重複率を識別できるという観察に由来する。 我々は、時間的表現学習を強化するために、コントラスト学習を組み合わせた共同作業を採用する。
  論文  参考訳（メタデータ） (2021-12-16T14:31:22Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。