論文の概要: Co$^2$L: Contrastive Continual Learning

• arxiv url: http://arxiv.org/abs/2106.14413v1
• Date: Mon, 28 Jun 2021 06:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 13:55:09.812926
• Title: Co$^2$L: Contrastive Continual Learning
• Title（参考訳）: co$^2$l:コントラスト連続学習
• Authors: Hyuntak Cha, Jaeho Lee, Jinwoo Shin
• Abstract要約: 近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 69.46643497220586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent breakthroughs in self-supervised learning show that such algorithms learn visual representations that can be transferred better to unseen tasks than joint-training methods relying on task-specific supervision. In this paper, we found that the similar holds in the continual learning con-text: contrastively learned representations are more robust against the catastrophic forgetting than jointly trained representations. Based on this novel observation, we propose a rehearsal-based continual learning algorithm that focuses on continually learning and maintaining transferable representations. More specifically, the proposed scheme (1) learns representations using the contrastive learning objective, and (2) preserves learned representations using a self-supervised distillation step. We conduct extensive experimental validations under popular benchmark image classification datasets, where our method sets the new state-of-the-art performance.
• Abstract（参考訳）: 自己教師付き学習の最近の進歩は、そのようなアルゴリズムが、タスク固有の監督に依存する共同学習方法よりも、見えないタスクに転送できる視覚表現を学習していることを示している。 比較的に学習された表現は、協調的に訓練された表現よりも破滅的な忘れ方に対してより強固である。 そこで本研究では,連続的な学習と伝達可能な表現の維持に着目したリハーサルに基づく連続学習アルゴリズムを提案する。 より具体的には,提案手法は,対照的な学習目標を用いて表現を学習し,(2)自己指導型の蒸留工程を用いて学習した表現を保存する。 我々は,人気のあるベンチマーク画像分類データセットで広範囲な検証を行い,新たな最先端性能を設定できる。

関連論文リスト

• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Learning Representations for New Sound Classes With Continual Self-Supervised Learning [30.35061954854764]
  本稿では,新しい音響クラスのための表現を継続的に学習するための自己教師型学習フレームワークを提案する。 提案手法を用いて学習した表現は,より一般化され,破滅的な忘れ込みに対する感受性が低いことを示す。
  論文  参考訳（メタデータ） (2022-05-15T22:15:21Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Contrastive Learning from Demonstrations [0.0]
  これらの表現は、ピック・アンド・プレイスを含むいくつかのロボット作業の模倣に適用可能であることを示す。 我々は、タスク関連情報を強化するためにコントラスト学習を適用することで、最近提案された自己教師付き学習アルゴリズムを最適化する。
  論文  参考訳（メタデータ） (2022-01-30T13:36:07Z)
• Contrastive Continual Learning with Feature Propagation [32.70482982044965]
  連続した機械学習者は、異なるタスク間でドメインやクラスシフトを伴うタスクのストリームを寛大に学習する。 本稿では,複数の連続学習シナリオを処理可能な特徴伝達に基づくコントラスト型連続学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-03T04:55:28Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)
• Contrastive learning, multi-view redundancy, and linear models [38.80336134485453]
  表現学習に対する一般的な自己指導的アプローチは、対照的な学習である。 この研究は、マルチビュー設定におけるコントラスト学習の理論分析を提供する。
  論文  参考訳（メタデータ） (2020-08-24T01:31:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。