論文の概要: SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge

• arxiv url: http://arxiv.org/abs/2208.11266v1
• Date: Wed, 24 Aug 2022 02:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:11:20.913416
• Title: SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge
• Title（参考訳）: SCALE: 事前知識のないオンライン自己監督型生涯学習
• Authors: Xiaofan Yu, Yunhui Guo, Sicun Gao, Tajana Rosing
• Abstract要約: 教師なし生涯学習(英語: Unsupervised lifelong learning)とは、教師なしの過去のパターンを記憶しながら、時間とともに学習する能力である。 従来の研究は、複雑な予測不可能な環境では入手できないような、入ってくるデータに関する強い事前知識を前提としていた。 本研究では, 飛行中の知識を抽出し, 記憶する自己監督型ContrAstive Lifelong LEarning(SCALE)を提案する。
• 参考スコア（独自算出の注目度）: 20.277446818410994
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Unsupervised lifelong learning refers to the ability to learn over time while memorizing previous patterns without supervision. Previous works assumed strong prior knowledge about the incoming data (e.g., knowing the class boundaries) which can be impossible to obtain in complex and unpredictable environments. In this paper, motivated by real-world scenarios, we formally define the online unsupervised lifelong learning problem with class-incremental streaming data, which is non-iid and single-pass. The problem is more challenging than existing lifelong learning problems due to the absence of labels and prior knowledge. To address the issue, we propose Self-Supervised ContrAstive Lifelong LEarning (SCALE) which extracts and memorizes knowledge on-the-fly. SCALE is designed around three major components: a pseudo-supervised contrastive loss, a self-supervised forgetting loss, and an online memory update for uniform subset selection. All three components are designed to work collaboratively to maximize learning performance. Our loss functions leverage pairwise similarity thus remove the dependency on supervision or prior knowledge. We perform comprehensive experiments of SCALE under iid and four non-iid data streams. SCALE outperforms the best state-of-the-art algorithm on all settings with improvements of up to 6.43%, 5.23% and 5.86% kNN accuracy on CIFAR-10, CIFAR-100 and SubImageNet datasets.
• Abstract（参考訳）: 教師なし学習(unsupervised lifelong learning)とは、それまでのパターンを記憶しながら、時間とともに学習する能力を指す。 以前の研究では、入力データ(例えば、クラス境界を知る)に関する事前知識が強く、複雑で予測不能な環境では得られない。 本稿では,実世界のシナリオを動機として,非IDかつシングルパスであるクラスインクリメンタルストリーミングデータを用いて,オンラインの教師なし生涯学習問題を正式に定義する。 この問題は、ラベルや事前知識の欠如により、既存の生涯学習問題よりも困難である。 この問題に対処するため,本研究では,フライ時に知識を抽出し記憶する自己監督型ContrAstive Lifelong LEarning (SCALE)を提案する。 SCALEは、擬似教師付きコントラスト損失、自己教師付き忘れ損失、一様サブセット選択のためのオンラインメモリ更新の3つの主要なコンポーネントを中心に設計されている。 3つのコンポーネントはすべて、学習パフォーマンスを最大化するために協力的に動作するように設計されている。 損失関数はペアの類似性を利用して、監督や事前知識への依存を取り除く。 iidと4つの非iidデータストリームの下で、スケールの包括的な実験を行う。 SCALEは、CIFAR-10、CIFAR-100、SubImageNetデータセットで最大6.43%、5.23%、および5.86%のkNN精度で、すべての設定において最高の最先端のアルゴリズムより優れている。

関連論文リスト

• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
  LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。 宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。 我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-06-05T23:32:26Z)
• Ex-Model: Continual Learning from a Stream of Trained Models [12.27992745065497]
  連続的な学習システムは、訓練されたモデルの形式で圧縮された情報の可用性を活用するべきであると論じる。 エージェントが生データの代わりに以前に訓練されたモデルのシーケンスから学習する「Ex-Model Continual Learning」(Ex-Model Continual Learning)という新しいパラダイムを導入し、形式化する。
  論文  参考訳（メタデータ） (2021-12-13T09:46:16Z)
• Rethinking the Representational Continuity: Towards Unsupervised Continual Learning [45.440192267157094]
  教師なし連続学習(UCL)は、以前獲得した知識を忘れずに一連のタスクを学習することを目的としている。 連続学習には注釈付きデータへの依存は必要ないことを示す。 本稿では,無教師表現に対する破滅的忘れを緩和するために,生涯無教師混合(LUMP)を提案する。
  論文  参考訳（メタデータ） (2021-10-13T18:38:06Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Representation Learning by Ranking under multiple tasks [0.0]
  近似的なNDCG損失を最適化することにより、複数のタスクにおける表現学習問題を解く。 分類、検索、マルチラベル学習、回帰、自己監督学習などの異なる学習タスクの下での実験は、近似NDCG損失の優位性を証明します。
  論文  参考訳（メタデータ） (2021-03-28T09:36:36Z)
• Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
  我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。 これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。 提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
  論文  参考訳（メタデータ） (2020-09-28T11:57:43Z)
• A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning [8.188575923130662]
  オープンデータセット認識による顕著な教訓,観測データセット外の統計的逸脱したデータの識別,および近接するアクティブラーニングの分野は,深層学習時代においてしばしば見過ごされる。 我々の結果は、これは個々のパラダイムに利益をもたらすだけでなく、共通のフレームワークにおける自然なシナジーを強調していることを示している。
  論文  参考訳（メタデータ） (2020-09-03T16:56:36Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。