論文の概要: PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning

• arxiv url: http://arxiv.org/abs/2304.04408v1
• Date: Mon, 10 Apr 2023 06:35:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:46:06.432970
• Title: PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning
• Title（参考訳）: pcr:オンライン授業インクリメンタル学習のためのプロキシベースのコントラストリプレイ
• Authors: Huiwei Lin, Baoquan Zhang, Shanshan Feng, Xutao Li, Yunming Ye
• Abstract要約: 既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。 プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
• 参考スコア（独自算出の注目度）: 16.67238259139417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online class-incremental continual learning is a specific task of continual learning. It aims to continuously learn new classes from data stream and the samples of data stream are seen only once, which suffers from the catastrophic forgetting issue, i.e., forgetting historical knowledge of old classes. Existing replay-based methods effectively alleviate this issue by saving and replaying part of old data in a proxy-based or contrastive-based replay manner. Although these two replay manners are effective, the former would incline to new classes due to class imbalance issues, and the latter is unstable and hard to converge because of the limited number of samples. In this paper, we conduct a comprehensive analysis of these two replay manners and find that they can be complementary. Inspired by this finding, we propose a novel replay-based method called proxy-based contrastive replay (PCR). The key operation is to replace the contrastive samples of anchors with corresponding proxies in the contrastive-based way. It alleviates the phenomenon of catastrophic forgetting by effectively addressing the imbalance issue, as well as keeps a faster convergence of the model. We conduct extensive experiments on three real-world benchmark datasets, and empirical results consistently demonstrate the superiority of PCR over various state-of-the-art methods.
• Abstract（参考訳）: オンラインクラス増分連続学習は連続学習の特定のタスクである。 それは、データストリームから新しいクラスを継続的に学習することを目的としており、データストリームのサンプルは一度しか見られない。 既存のリプレイベースメソッドは、古いデータをプロキシベースまたはコントラストベースのリプレイ方法で保存再生することで、この問題を効果的に軽減する。 これらの2つのリプレイ方式は有効であるが、前者はクラス不均衡の問題により新しいクラスに傾き、後者は不安定でサンプル数が少ないため収束が難しい。 本稿では,これら2つのリプレイ手法を包括的に分析し,相補的であることを示す。 この発見に触発されて、プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。 鍵となる操作は、アンカーのコントラストサンプルを、コントラストベースの方法で対応するプロキシに置き換えることである。 これは、不均衡問題に効果的に対処することで破滅的な忘れの現象を緩和し、モデルのより早い収束を維持する。 3つの実世界のベンチマークデータセットについて広範な実験を行い,実験結果から,様々な最先端手法に対するpcrの優位性を一貫して実証した。

関連論文リスト

• Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
  既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。 また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。 連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:58:20Z)
• Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay [16.269591842495892]
  本研究では, 逐次的オフラインタスクに取り組むために, 前方転送を容易にし, 破滅的な忘れを緩和する実践的パラダイムについて検討する。 本稿では,生成した擬似データの同時再生により,過去の知識を保持できる2つの生成再生フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-16T15:39:11Z)
• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning [44.65144198656702]
  オンライン連続学習(OCL)は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習することを目的としている。 既存のリプレイベースのメソッドは、プロキシベースのあるいは対照的なリプレイ方式で古いデータの一部をリプレイすることで、この問題を効果的に緩和する。 この発見に触発されて、プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2023-09-26T16:12:57Z)
• A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal [13.075018350152074]
  オンライン連続学習(OCL)は、単一のデータパスで、非定常データストリームからニューラルネットワークを漸進的にトレーニングすることを目的としている。 リハーサルベースの手法は、観測された入力分布を小さなメモリで時間とともに近似し、後にそれを再検討して、忘れることを避ける。 本稿では,バイアスや動的経験的リスク最小化の観点から,メモリ過適合リスクに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2022-09-28T08:43:35Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
  過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。 第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。 第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。