論文の概要: Online Continual Learning with Contrastive Vision Transformer

• arxiv url: http://arxiv.org/abs/2207.13516v1
• Date: Sun, 24 Jul 2022 08:51:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 12:51:42.182339
• Title: Online Continual Learning with Contrastive Vision Transformer
• Title（参考訳）: コントラスト視覚変換器を用いたオンライン連続学習
• Authors: Zhen Wang, Liu Liu, Yajing Kong, Jiaxian Guo, and Dacheng Tao
• Abstract要約: 本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
• 参考スコア（独自算出の注目度）: 67.72251876181497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning (online CL) studies the problem of learning sequential tasks from an online data stream without task boundaries, aiming to adapt to new data while alleviating catastrophic forgetting on the past tasks. This paper proposes a framework Contrastive Vision Transformer (CVT), which designs a focal contrastive learning strategy based on a transformer architecture, to achieve a better stability-plasticity trade-off for online CL. Specifically, we design a new external attention mechanism for online CL that implicitly captures previous tasks' information. Besides, CVT contains learnable focuses for each class, which could accumulate the knowledge of previous classes to alleviate forgetting. Based on the learnable focuses, we design a focal contrastive loss to rebalance contrastive learning between new and past classes and consolidate previously learned representations. Moreover, CVT contains a dual-classifier structure for decoupling learning current classes and balancing all observed classes. The extensive experimental results show that our approach achieves state-of-the-art performance with even fewer parameters on online CL benchmarks and effectively alleviates the catastrophic forgetting.
• Abstract（参考訳）: オンライン連続学習(オンラインCL)は、タスク境界のないオンラインデータストリームからシーケンシャルなタスクを学習する問題を研究し、過去のタスクに対する破滅的な忘れを軽減しつつ、新しいデータに適応することを目指している。 本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,トランスフォーマアーキテクチャに基づく焦点コントラスト学習戦略を設計するフレームワークであるContrastive Vision Transformer(CVT)を提案する。 具体的には,従来のタスクの情報を暗黙的にキャプチャするオンラインclのための新たな外部注意機構を設計する。 さらにCVTには各クラスに対する学習可能な焦点が含まれており、過去のクラスの知識を蓄積して忘れを軽減できる。 学習可能な焦点に基づいて,新しいクラスと過去のクラス間のコントラスト学習を再バランスさせ,事前学習した表現を統合するために,局所的なコントラストロスを設計する。 さらにCVTには、現在の学習クラスを分離し、すべての観察されたクラスのバランスをとるための二重分類器構造が含まれている。 広範な実験結果から,本手法はオンラインclベンチマークのパラメータを少なくして最先端のパフォーマンスを実現し,破滅的な忘れを効果的に緩和することを示した。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Forward-Backward Knowledge Distillation for Continual Clustering [14.234785944941672]
  教師なし連続学習(Unsupervised Continual Learning, UCL)は、ニューラルネットワークが明確なラベル情報なしでタスクをシーケンシャルに学習できるようにすることに焦点を当てた、機械学習の急成長分野である。 破滅的フォーッティング(CF)は、特にラベル付きデータの情報がアクセスできないUCLにおいて、継続的な学習において重要な課題となる。 本研究では,Unsupervised Continual Clustering (UCC) の概念を導入し,各種タスクを対象としたクラスタリングにおける性能向上とメモリ効率の向上を図った。
  論文  参考訳（メタデータ） (2024-05-29T16:13:54Z)
• Improving Plasticity in Online Continual Learning via Collaborative Learning [22.60291297308379]
  我々は、新しい知識(すなわち、モデル可塑性)を取得するモデルの能力は、オンラインCLにおけるもう一つの課題であると主張している。 我々は、新しい概念を習得する際のモデル能力を改善するために、協調学習に基づく戦略である協調継続学習(CCL)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T14:06:28Z)
• Online Prototype Learning for Online Continual Learning [36.91213307667659]
  シングルパスデータストリームから連続的に学習する問題について検討する。 古いデータの小さなサブセットを保存することで、リプレイベースのメソッドは有望なパフォーマンスを示している。 本稿では,オンライン学習モデルが,ショートカット学習の新たな視点からうまく一般化できない理由を理解することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T05:46:40Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。