論文の概要: Revisiting Supervision for Continual Representation Learning
- arxiv url: http://arxiv.org/abs/2311.13321v1
- Date: Wed, 22 Nov 2023 11:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 15:17:34.090383
- Title: Revisiting Supervision for Continual Representation Learning
- Title(参考訳): 連続表現学習のための再考
- Authors: Daniel Marczak, Sebastian Cygert, Tomasz Trzci\'nski, Bart{\l}omiej
Twardowski
- Abstract要約: 近年の研究では、自己指導型連続表現学習の強みを強調している。
自己教師付き手法で構築された表現の伝達性の向上は、多層パーセプトロンプロジェクタが果たす役割と関連していることが多い。
本研究は,多層パーセプトロンヘッドで強化された教師付きモデルにおいて,連続表現学習において自己教師付きモデルよりも優れることを示す。
- 参考スコア(独自算出の注目度): 17.59020556977261
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of continual learning, models are designed to learn tasks one
after the other. While most research has centered on supervised continual
learning, recent studies have highlighted the strengths of self-supervised
continual representation learning. The improved transferability of
representations built with self-supervised methods is often associated with the
role played by the multi-layer perceptron projector. In this work, we depart
from this observation and reexamine the role of supervision in continual
representation learning. We reckon that additional information, such as human
annotations, should not deteriorate the quality of representations. Our
findings show that supervised models when enhanced with a multi-layer
perceptron head, can outperform self-supervised models in continual
representation learning.
- Abstract(参考訳): 連続学習の分野では、モデルは次々にタスクを学ぶように設計されている。
多くの研究は教師付き連続学習を中心にしているが、近年の研究は自己教師付き連続学習の強みを強調している。
自己教師付きメソッドで構築された表現の転送性の改善は、しばしば多層パーセプトロンプロジェクタが果たす役割と関連付けられる。
本研究では,この観察から出発し,連続表現学習における監督の役割を再検討する。
人間のアノテーションのような追加情報は表現の質を損なうべきではないと考える。
本研究は,多層パーセプトロンヘッドを用いた教師付きモデルにおいて,連続表現学習において自己教師付きモデルよりも優れることを示す。
関連論文リスト
- Revisiting Self-supervised Learning of Speech Representation from a
Mutual Information Perspective [68.20531518525273]
我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。
我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。
我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
論文 参考訳(メタデータ) (2024-01-16T21:13:22Z) - Probing Representation Forgetting in Supervised and Unsupervised
Continual Learning [14.462797749666992]
破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。
表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
論文 参考訳(メタデータ) (2022-03-24T23:06:08Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳(メタデータ) (2021-12-08T10:39:13Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-28T06:14:38Z) - Evaluating the Robustness of Self-Supervised Learning in Medical Imaging [57.20012795524752]
自己監督は、小さな注釈付きデータセット上でターゲットタスクを訓練する際の効果的な学習戦略であることを示した。
本研究では,自己監視学習によって訓練されたネットワークが,医療画像の文脈における完全監視学習と比較して,堅牢性と汎用性に優れていることを示した。
論文 参考訳(メタデータ) (2021-05-14T17:49:52Z) - Odd-One-Out Representation Learning [1.6822770693792826]
ランダム・ワン・アウト観測に基づく下流の弱教師付きタスクがモデル選択に適していることを示す。
また,この課題を高度に遂行する,目覚しいメトリック学習型VAEモデルが,他の標準の教師なしおよび弱教師付きアンタングルメントモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-14T22:01:15Z) - How Well Do Self-Supervised Models Transfer? [92.16372657233394]
我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。
ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。
全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
論文 参考訳(メタデータ) (2020-11-26T16:38:39Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳(メタデータ) (2020-06-10T00:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。