論文の概要: Rethinking the Representational Continuity: Towards Unsupervised Continual Learning

• arxiv url: http://arxiv.org/abs/2110.06976v1
• Date: Wed, 13 Oct 2021 18:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-16 10:49:04.951012
• Title: Rethinking the Representational Continuity: Towards Unsupervised Continual Learning
• Title（参考訳）: 表現連続性再考--教師なし連続学習に向けて
• Authors: Divyam Madaan, Jaehong Yoon, Yuanchun Li, Yunxin Liu, Sung Ju Hwang
• Abstract要約: 教師なし連続学習(UCL)は、以前獲得した知識を忘れずに一連のタスクを学習することを目的としている。 連続学習には注釈付きデータへの依存は必要ないことを示す。 本稿では,無教師表現に対する破滅的忘れを緩和するために,生涯無教師混合(LUMP)を提案する。
• 参考スコア（独自算出の注目度）: 45.440192267157094
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Continual learning (CL) aims to learn a sequence of tasks without forgetting the previously acquired knowledge. However, recent advances in continual learning are restricted to supervised continual learning (SCL) scenarios. Consequently, they are not scalable to real-world applications where the data distribution is often biased and unannotated. In this work, we focus on unsupervised continual learning (UCL), where we learn the feature representations on an unlabelled sequence of tasks and show that reliance on annotated data is not necessary for continual learning. We conduct a systematic study analyzing the learned feature representations and show that unsupervised visual representations are surprisingly more robust to catastrophic forgetting, consistently achieve better performance, and generalize better to out-of-distribution tasks than SCL. Furthermore, we find that UCL achieves a smoother loss landscape through qualitative analysis of the learned representations and learns meaningful feature representations. Additionally, we propose Lifelong Unsupervised Mixup (LUMP), a simple yet effective technique that leverages the interpolation between the current task and previous tasks' instances to alleviate catastrophic forgetting for unsupervised representations.
• Abstract（参考訳）: 連続学習(CL)は、以前獲得した知識を忘れずに一連のタスクを学習することを目的としている。 しかし、最近の連続学習の進歩は教師付き連続学習(scl)のシナリオに限定されている。 結果として、データ分散がバイアスや注釈のない、実世界のアプリケーションにはスケーラビリティがない。 本研究では,非教師なし連続学習(UCL)に注目し,その課題の列で特徴表現を学習し,アノテートされたデータへの依存が連続学習には必要ないことを示す。 我々は,学習した特徴表現を分析し,教師なしの視覚的表現が,破滅的な忘れ方に対して驚くほど頑健であり,一貫して優れた性能を達成し,sclよりも分布外タスクに一般化できることを体系的に研究した。 さらに,学習表現の質的分析と有意義な特徴表現の学習を通じて,uclはより円滑なロスランドスケープを実現することを見出した。 さらに,現在のタスクと以前のタスクのインスタンス間の補間を利用して,教師なし表現に対する破滅的な忘れを緩和する,単純かつ効果的な手法であるlong unsupervised mixup (lump)を提案する。

関連論文リスト

• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations [1.8130068086063336]
  我々は3つの視点から教師なし(視覚的)表現学習の分野に貢献する。 我々は、教師なし、バックプロパゲーションのない畳み込み自己組織型ニューラルネットワーク(CSNN)を設計する。 我々は、プリテキストとターゲットオブジェクトに依存しないメトリクスを定義するために、広く使われている(非)線形評価プロトコルの上に構築する。 CARLANEは,2次元車線検出のための最初の3方向sim-to-realドメイン適応ベンチマークであり,自己教師付き学習に基づく手法である。
  論文  参考訳（メタデータ） (2023-11-30T15:57:55Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Augment to Interpret: Unsupervised and Inherently Interpretable Graph Embeddings [0.0]
  本稿では,グラフ表現学習について検討し,意味論を保存したデータ拡張を学習し,解釈を生成できることを示す。 私たちがINGENIOUSと名付けた我々のフレームワークは、本質的に解釈可能な埋め込みを生成し、コストのかかるポストホック分析の必要性を排除します。
  論文  参考訳（メタデータ） (2023-09-28T16:21:40Z)
• Unsupervised Representation Learning for Time Series: A Review [20.00853543048447]
  教師なし表現学習アプローチは、すべてのサンプルに注釈をつけることなく、ラベルのないデータから識別的特徴表現を学習することを目的としている。 本稿では,現在急速に進化している時系列の非教師なし表現学習手法の文献レビューを行う。 我々は9つの異なる実世界のデータセットに基づいて、最先端のアプローチ、特に急速に進化するコントラスト学習手法を実証的に評価した。
  論文  参考訳（メタデータ） (2023-08-03T07:28:06Z)
• Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
  本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
  論文  参考訳（メタデータ） (2022-07-13T15:16:51Z)
• Feature Forgetting in Continual Representation Learning [48.89340526235304]
  表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
  論文  参考訳（メタデータ） (2022-05-26T13:38:56Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。