論文の概要: Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning
- arxiv url: http://arxiv.org/abs/2409.16391v1
- Date: Tue, 24 Sep 2024 18:46:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 08:41:00.681194
- Title: Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning
- Title（参考訳）: オンライン教師なし連続学習のためのパッチベースコントラスト学習とメモリ統合
- Authors: Cameron Taylor, Vassilis Vassiliades, Constantine Dovrolis,
- Abstract要約: 我々は、オンライン教師なし連続学習(O-UCL)として知られる比較的未探索の学習パラダイムに焦点を当てる。
O-UCLは、教師なし、継続的、あるいはオンライン学習における以前の作業とは異なり、3つの領域を1つの挑戦的で現実的な学習パラダイムにまとめている。
この設定では、エージェントは頻繁に評価され、指定されたオフラインタスクの最後にではなく、データストリームの任意の時点で可能な限りの表現を維持することを目標とする必要があります。
- 参考スコア（独自算出の注目度）: 6.042269506496206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We focus on a relatively unexplored learning paradigm known as {\em Online Unsupervised Continual Learning} (O-UCL), where an agent receives a non-stationary, unlabeled data stream and progressively learns to identify an increasing number of classes. This paradigm is designed to model real-world applications where encountering novelty is the norm, such as exploring a terrain with several unknown and time-varying entities. Unlike prior work in unsupervised, continual, or online learning, O-UCL combines all three areas into a single challenging and realistic learning paradigm. In this setting, agents are frequently evaluated and must aim to maintain the best possible representation at any point of the data stream, rather than at the end of pre-specified offline tasks. The proposed approach, called \textbf{P}atch-based \textbf{C}ontrastive learning and \textbf{M}emory \textbf{C}onsolidation (PCMC), builds a compositional understanding of data by identifying and clustering patch-level features. Embeddings for these patch-level features are extracted with an encoder trained via patch-based contrastive learning. PCMC incorporates new data into its distribution while avoiding catastrophic forgetting, and it consolidates memory examples during ``sleep" periods. We evaluate PCMC's performance on streams created from the ImageNet and Places365 datasets. Additionally, we explore various versions of the PCMC algorithm and compare its performance against several existing methods and simple baselines.
- Abstract（参考訳）: 我々は、エージェントが非定常的、ラベルなしのデータストリームを受け取り、徐々に多くのクラスを特定することを学習する、比較的未探索の学習パラダイムである {\em Online Unsupervised Continual Learning} (O-UCL)に焦点を当てる。
このパラダイムは、未知の、時間的変化のあるいくつかの実体を持つ地形を探索するなど、斬新さに遭遇する現実の応用をモデル化するように設計されている。
O-UCLは、教師なし、継続的、あるいはオンライン学習における以前の作業とは異なり、3つの領域を1つの挑戦的で現実的な学習パラダイムにまとめている。
この設定では、エージェントは頻繁に評価され、指定されたオフラインタスクの最後にではなく、データストリームの任意の時点で可能な限りの表現を維持することを目標とする必要があります。
提案手法は, パッチレベルの特徴を識別・クラスタリングすることで, データの構成的理解を構築する。
これらのパッチレベルの機能の埋め込みは、パッチベースのコントラスト学習を通じてトレーニングされたエンコーダで抽出される。
PCMCは、破滅的な忘れを回避しながら、その分布に新しいデータを組み込んで、‘sleep’期間のメモリサンプルを集約する。
我々は、ImageNetとPlaces365データセットから生成されたストリームに対してPCMCの性能を評価する。
さらに,PCMCアルゴリズムの様々なバージョンを探索し,その性能を既存手法や単純なベースラインと比較する。
関連論文リスト
- Unsupervised Continual Anomaly Detection with Contrastively-learned
Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。
このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。
我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文 参考訳（メタデータ） (2024-01-02T03:37:11Z) - Contrastive Continual Multi-view Clustering with Filtered Structural
Fusion [57.193645780552565]
ビューが事前に収集されるアプリケーションでは、マルチビュークラスタリングが成功します。
データビューがシーケンシャルに収集されるシナリオ、すなわちリアルタイムデータを見落としている。
いくつかの方法が提案されているが、安定塑性ジレンマに閉じ込められている。
フィルタ構造融合を用いたコントラスト連続多視点クラスタリングを提案する。
論文 参考訳（メタデータ） (2023-09-26T14:18:29Z) - CasCIFF: A Cross-Domain Information Fusion Framework Tailored for
Cascade Prediction in Social Networks [4.480256642939794]
クロスドメイン情報融合フレームワーク(CasCIFF)は、情報カスケード予測に最適化されている。
このフレームワークは、ユーザ埋め込みを堅牢にするために、マルチホップ近隣情報を利用する。
特に、CasCIFFは、ユーザ分類とカスケード予測のタスクをシームレスに統合されたフレームワークに統合します。
論文 参考訳（メタデータ） (2023-08-09T13:52:41Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - Continual Vision-Language Representation Learning with Off-Diagonal
Information [112.39419069447902]
CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。
本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
論文 参考訳（メタデータ） (2023-05-11T08:04:46Z) - Continual Variational Autoencoder Learning via Online Cooperative
Memorization [11.540150938141034]
変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。
しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。
我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。
次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-20T18:19:27Z) - Hyperspherical Consistency Regularization [45.00073340936437]
我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。
超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
論文 参考訳（メタデータ） (2022-06-02T02:41:13Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。