論文の概要: SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge
- arxiv url: http://arxiv.org/abs/2208.11266v5
- Date: Mon, 10 Apr 2023 21:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 19:07:28.745608
- Title: SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge
- Title（参考訳）: SCALE: 事前知識のないオンライン自己監督型生涯学習
- Authors: Xiaofan Yu, Yunhui Guo, Sicun Gao, Tajana Rosing
- Abstract要約: 本稿では,事前知識のないオンライン自己教師型生涯学習という,より実践的な問題設定を提案する。
提案した設定は、非IDデータとシングルパスデータ、外部監視の欠如、事前の知識がないため、困難である。
課題に対処するために,事前知識のない自己監督型コントラサシブ生涯学習(SCALE)を提案する。
SCALEは、擬似教師付きコントラスト損失、自己教師付き忘れ損失、一様サブセット選択のためのオンラインメモリ更新の3つの主要なコンポーネントを中心に設計されている。
- 参考スコア（独自算出の注目度）: 20.277446818410994
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Unsupervised lifelong learning refers to the ability to learn over time while
memorizing previous patterns without supervision. Although great progress has
been made in this direction, existing work often assumes strong prior knowledge
about the incoming data (e.g., knowing the class boundaries), which can be
impossible to obtain in complex and unpredictable environments. In this paper,
motivated by real-world scenarios, we propose a more practical problem setting
called online self-supervised lifelong learning without prior knowledge. The
proposed setting is challenging due to the non-iid and single-pass data, the
absence of external supervision, and no prior knowledge. To address the
challenges, we propose Self-Supervised ContrAstive Lifelong LEarning without
Prior Knowledge (SCALE) which can extract and memorize representations on the
fly purely from the data continuum. SCALE is designed around three major
components: a pseudo-supervised contrastive loss, a self-supervised forgetting
loss, and an online memory update for uniform subset selection. All three
components are designed to work collaboratively to maximize learning
performance. We perform comprehensive experiments of SCALE under iid and four
non-iid data streams. The results show that SCALE outperforms the
state-of-the-art algorithm in all settings with improvements up to 3.83%, 2.77%
and 5.86% in terms of kNN accuracy on CIFAR-10, CIFAR-100, and TinyImageNet
datasets.
- Abstract（参考訳）: 教師なし学習(unsupervised lifelong learning)とは、それまでのパターンを記憶しながら、時間とともに学習する能力を指す。
この方向には大きな進歩があったが、既存の研究はしばしば、入ってくるデータに関する強い事前知識(例えば、クラス境界を知ること)を前提としており、複雑な予測不可能な環境では入手できない。
本稿では,実世界のシナリオに動機づけられ,事前知識のないオンライン自己教師付き生涯学習という,より実用的な問題設定を提案する。
提案手法は,非iid・単一パスデータ,外部監視の欠如,事前知識の欠如などにより困難である。
この課題に対処するため,本研究では,データ連続体からハエの表現を純粋に抽出・記憶できる,事前知識のない自己監督型ContrAstive Lifelong LEarning(SCALE)を提案する。
SCALEは、擬似教師付きコントラスト損失、自己教師付き忘れ損失、一様サブセット選択のためのオンラインメモリ更新の3つの主要なコンポーネントを中心に設計されている。
3つのコンポーネントはすべて、学習パフォーマンスを最大化するために協力的に動作するように設計されている。
iidと4つの非iidデータストリームの下で、スケールの包括的な実験を行う。
その結果、SCALEはCIFAR-10、CIFAR-100、TinyImageNetデータセットのkNN精度で3.83%、2.77%、および5.86%の改善を達成し、最先端のアルゴリズムよりも優れていた。
関連論文リスト
- What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。
事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。
CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
論文 参考訳（メタデータ） (2024-05-31T17:57:24Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳（メタデータ） (2023-09-21T10:14:53Z) - CTP: Towards Vision-Language Continual Pretraining via Compatible
Momentum Contrast and Topology Preservation [128.00940554196976]
Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。
VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。
独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
論文 参考訳（メタデータ） (2023-08-14T13:53:18Z) - LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。
宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。
我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
論文 参考訳（メタデータ） (2023-06-05T23:32:26Z) - Ex-Model: Continual Learning from a Stream of Trained Models [12.27992745065497]
連続的な学習システムは、訓練されたモデルの形式で圧縮された情報の可用性を活用するべきであると論じる。
エージェントが生データの代わりに以前に訓練されたモデルのシーケンスから学習する「Ex-Model Continual Learning」(Ex-Model Continual Learning)という新しいパラダイムを導入し、形式化する。
論文 参考訳（メタデータ） (2021-12-13T09:46:16Z) - Rethinking the Representational Continuity: Towards Unsupervised
Continual Learning [45.440192267157094]
教師なし連続学習(UCL)は、以前獲得した知識を忘れずに一連のタスクを学習することを目的としている。
連続学習には注釈付きデータへの依存は必要ないことを示す。
本稿では,無教師表現に対する破滅的忘れを緩和するために,生涯無教師混合(LUMP)を提案する。
論文 参考訳（メタデータ） (2021-10-13T18:38:06Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-08-20T06:17:20Z) - Representation Learning by Ranking under multiple tasks [0.0]
近似的なNDCG損失を最適化することにより、複数のタスクにおける表現学習問題を解く。
分類、検索、マルチラベル学習、回帰、自己監督学習などの異なる学習タスクの下での実験は、近似NDCG損失の優位性を証明します。
論文 参考訳（メタデータ） (2021-03-28T09:36:36Z) - Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。
これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。
提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
論文 参考訳（メタデータ） (2020-09-28T11:57:43Z) - A Wholistic View of Continual Learning with Deep Neural Networks:
Forgotten Lessons and the Bridge to Active and Open World Learning [8.188575923130662]
オープンデータセット認識による顕著な教訓,観測データセット外の統計的逸脱したデータの識別,および近接するアクティブラーニングの分野は,深層学習時代においてしばしば見過ごされる。
我々の結果は、これは個々のパラダイムに利益をもたらすだけでなく、共通のフレームワークにおける自然なシナジーを強調していることを示している。
論文 参考訳（メタデータ） (2020-09-03T16:56:36Z) - PointContrast: Unsupervised Pre-training for 3D Point Cloud
Understanding [107.02479689909164]
本研究では,3次元表現学習の研究を支援することを目的とする。
教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
論文 参考訳（メタデータ） (2020-07-21T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。