論文の概要: Domain-Aware Augmentations for Unsupervised Online General Continual Learning

• arxiv url: http://arxiv.org/abs/2309.06896v1
• Date: Wed, 13 Sep 2023 11:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 14:31:16.662093
• Title: Domain-Aware Augmentations for Unsupervised Online General Continual Learning
• Title（参考訳）: 教師なしオンライン連続学習のためのドメイン認識強化
• Authors: Nicolas Michel, Romain Negrel, Giovanni Chierchia, Jean-Fran\c{c}ois Bercher
• Abstract要約: 本稿では、教師なしオンライン総合学習(UOGCL)におけるコントラスト学習のためのメモリ使用量を改善する新しい手法を提案する。 提案手法は単純だが有効であり, 従来の非教師なし手法に比べ, 最新の結果が得られる。 ドメインを意識した拡張手順は他のリプレイ方式にも適用可能であり、継続的な学習には有望な戦略である。
• 参考スコア（独自算出の注目度）: 7.145581090959242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning has been challenging, especially when dealing with unsupervised scenarios such as Unsupervised Online General Continual Learning (UOGCL), where the learning agent has no prior knowledge of class boundaries or task change information. While previous research has focused on reducing forgetting in supervised setups, recent studies have shown that self-supervised learners are more resilient to forgetting. This paper proposes a novel approach that enhances memory usage for contrastive learning in UOGCL by defining and using stream-dependent data augmentations together with some implementation tricks. Our proposed method is simple yet effective, achieves state-of-the-art results compared to other unsupervised approaches in all considered setups, and reduces the gap between supervised and unsupervised continual learning. Our domain-aware augmentation procedure can be adapted to other replay-based methods, making it a promising strategy for continual learning.
• Abstract（参考訳）: 特に、教師なしオンライン総合学習(unsupervised online general continual learning, uogcl)のような教師なしのシナリオを扱う場合、学習エージェントはクラス境界に関する事前知識やタスク変更情報を持たない。 従来の研究では、教師付きセットアップにおける忘れの軽減に焦点が当てられていたが、近年の研究では、自己教師型学習者は忘れの耐性が高いことが示されている。 本稿では,uogclにおけるコントラスト学習のためのメモリ使用量を向上させるための新しい手法を提案する。 提案手法は単純だが有効であり,他の非教師なしの手法と比較し,教師なしと教師なしの連続学習のギャップを小さくする。 ドメイン対応強化手法は他のリプレイ方式にも適用可能であり,継続的な学習に有望な戦略となる。

関連論文リスト

• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Continually Learning Self-Supervised Representations with Projected Functional Regularization [39.92600544186844]
  近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。 これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。 従来の知識を忘れないように,機能正規化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-30T11:59:23Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)
• Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation [83.23707895728995]
  光フローの教師なし学習は、教師付き手法に代わる有望な代替手段として登場した。 私たちは、トランスフォーメーションからより信頼性の高い監視を使用するためのフレームワークを提示します。 提案手法は, 深い教師なし手法の中で, 最高の精度で, いくつかのベンチマークで連続的に性能を向上する。
  論文  参考訳（メタデータ） (2020-03-29T14:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。