論文の概要: Revisiting Supervision for Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2311.13321v2
• Date: Tue, 16 Jul 2024 20:37:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 23:08:38.971576
• Title: Revisiting Supervision for Continual Representation Learning
• Title（参考訳）: 連続表現学習のための再考
• Authors: Daniel Marczak, Sebastian Cygert, Tomasz Trzciński, Bartłomiej Twardowski,
• Abstract要約: 本研究では,連続表現学習における教師の役割を再検討する。 多層パーセプトロンヘッドで強化された教師付きモデルは、連続表現学習において自己教師付きモデルより優れていることを示す。 このことは、連続学習における一連のタスクにまたがる特徴伝達可能性を形成する上で、多層パーセプトロンプロジェクタの重要性を強調している。
• 参考スコア（独自算出の注目度）: 1.0030878538350796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of continual learning, models are designed to learn tasks one after the other. While most research has centered on supervised continual learning, there is a growing interest in unsupervised continual learning, which makes use of the vast amounts of unlabeled data. Recent studies have highlighted the strengths of unsupervised methods, particularly self-supervised learning, in providing robust representations. The improved transferability of those representations built with self-supervised methods is often associated with the role played by the multi-layer perceptron projector. In this work, we depart from this observation and reexamine the role of supervision in continual representation learning. We reckon that additional information, such as human annotations, should not deteriorate the quality of representations. Our findings show that supervised models when enhanced with a multi-layer perceptron head, can outperform self-supervised models in continual representation learning. This highlights the importance of the multi-layer perceptron projector in shaping feature transferability across a sequence of tasks in continual learning. The code is available on github: https://github.com/danielm1405/sl-vs-ssl-cl.
• Abstract（参考訳）: 連続学習の分野では、モデルは次々にタスクを学ぶように設計されている。 ほとんどの研究は教師なし連続学習を中心にしているが、大量のラベルのないデータを活用する教師なし連続学習への関心が高まっている。 近年の研究では、堅牢な表現を提供する上で、教師なしの方法、特に自己教師付き学習の強みを強調している。 自己教師付き手法で構築した表現の転写性の向上は、多層パーセプトロンプロジェクタが果たす役割と関連していることが多い。 本研究では、この観察から出発し、連続表現学習における監督の役割を再検討する。 人間のアノテーションのような追加情報は、表現の質を損なうべきではないと考えている。 本研究は,多層パーセプトロンヘッドで強化された教師付きモデルにおいて,連続表現学習において自己教師付きモデルよりも優れることを示す。 このことは、連続学習における一連のタスクにまたがる特徴伝達可能性を形成する上で、多層パーセプトロンプロジェクタの重要性を強調している。 コードはgithubで入手できる。 https://github.com/danielm1405/sl-vs-ssl-cl。

関連論文リスト

• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• How Well Do Self-Supervised Models Transfer? [92.16372657233394]
  我々は、40の下流タスクにおいて、トップ13の自己教師型モデルの転送性能を評価する。 ImageNet Top-1の精度は、マルチショット認識への転送と非常に相関している。 全体としては、単一の自己監督的手法が支配的ではなく、普遍的な事前訓練がまだ未解決であることを示唆している。
  論文  参考訳（メタデータ） (2020-11-26T16:38:39Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)
• MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition [36.74293548921099]
  動作予測,ジグソーパズル認識,コントラスト学習を統合し,異なる側面から骨格の特徴を学習する。 NW-UCLA, NTU RGB+D, PKUMMDデータセットを用いた実験は, 行動認識における顕著な性能を示した。
  論文  参考訳（メタデータ） (2020-10-12T11:09:44Z)
• Self-Supervised Learning Across Domains [33.86614301708017]
  本稿では,ドメイン間のオブジェクト認識の問題に対して,同様のアプローチを適用することを提案する。 モデルでは,教師付き方式でセマンティックラベルを学習し,同じ画像上の自己教師型信号から学習することで,データに対する理解を深める。 この二次的なタスクは、ネットワークが対象の形状、空間配向や部分相関といった概念を学ぶのに役立ち、分類タスクの正規化として機能する。
  論文  参考訳（メタデータ） (2020-07-24T06:19:53Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。