論文の概要: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2309.15038v1
• Date: Tue, 26 Sep 2023 16:12:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 12:52:33.021044
• Title: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
• Title（参考訳）: HPCR:オンライン連続学習のためのホロスティックなプロキシベースのコントラストリプレイ
• Authors: Huiwei Lin, Shanshan Feng, Baoquan Zhang, Xutao Li, Yew-soon Ong, Yunming Ye
• Abstract要約: オンライン連続学習(OCL)は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習することを目的としている。 既存のリプレイベースのメソッドは、プロキシベースのあるいは対照的なリプレイ方式で古いデータの一部をリプレイすることで、この問題を効果的に緩和する。 この発見に触発されて、プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
• 参考スコア（独自算出の注目度）: 44.65144198656702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning (OCL) aims to continuously learn new data from a single pass over the online data stream. It generally suffers from the catastrophic forgetting issue. Existing replay-based methods effectively alleviate this issue by replaying part of old data in a proxy-based or contrastive-based replay manner. In this paper, we conduct a comprehensive analysis of these two replay manners and find they can be complementary. Inspired by this finding, we propose a novel replay-based method called proxy-based contrastive replay (PCR), which replaces anchor-to-sample pairs with anchor-to-proxy pairs in the contrastive-based loss to alleviate the phenomenon of forgetting. Based on PCR, we further develop a more advanced method named holistic proxy-based contrastive replay (HPCR), which consists of three components. The contrastive component conditionally incorporates anchor-to-sample pairs to PCR, learning more fine-grained semantic information with a large training batch. The second is a temperature component that decouples the temperature coefficient into two parts based on their impacts on the gradient and sets different values for them to learn more novel knowledge. The third is a distillation component that constrains the learning process to keep more historical knowledge. Experiments on four datasets consistently demonstrate the superiority of HPCR over various state-of-the-art methods.
• Abstract（参考訳）: オンライン連続学習(OCL)は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習することを目的としている。 一般的には破滅的な忘れ物問題に苦しむ。 既存のリプレイベースメソッドは、古いデータをプロキシベースまたはコントラストベースのリプレイ方法でリプレイすることで、この問題を効果的に軽減する。 本稿では,これら2つのリプレイ手法を包括的に分析し,相補的であることを示す。 そこで本研究では,アンカーとサンプルのペアをアンカーとプロキシのペアに置き換える,プロキシベースのコントラストリプレイ(pcr)と呼ばれる新しいリプレイ方式を提案する。 PCRをベースとしたHPCR法は,3成分からなる総合的プロキシベースコントラストリプレイ法 (HPCR) という,より高度な手法をさらに発展させる。 コントラスト成分はPCRにアンカーとサンプルのペアを組み込んでおり、よりきめ細かいセマンティック情報を大きな訓練バッチで学習する。 2つ目は、温度係数が勾配に与える影響に基づいて2つの部分に分割する温度成分であり、新しい知識を学ぶために異なる値を設定する。 3つ目は、歴史的知識を維持するために学習プロセスを制約する蒸留成分である。 4つのデータセットに関する実験は、様々な最先端手法に対するhpcrの優位性を一貫して証明している。

関連論文リスト

• A Plug-and-Play Method for Guided Multi-contrast MRI Reconstruction based on Content/Style Modeling [1.1622133377827824]
  誘導再建のためのモジュラー2段階手法を提案する。 放射線学的な課題として、MUNITは診断品質における臨床再建よりも33.3%の加速を可能にした。
  論文  参考訳（メタデータ） (2024-09-20T13:08:51Z)
• REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [12.197327462627912]
  EFCIL(Exemplar-free class-incremental Learning)のための表現強化分析学習(REAL)を提案する。 REALは、二重ストリームベース事前訓練(DS-BPT)および表現強化蒸留(RED)プロセスを構築し、抽出器の表現を強化する。 本手法は,既存のALベースCILの凍結バックボーンによって引き起こされる未確認データの表現において,識別性が不十分な問題に対処する。
  論文  参考訳（メタデータ） (2024-03-20T11:48:10Z)
• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning [16.67238259139417]
  既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。 プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T06:35:19Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Look Back When Surprised: Stabilizing Reverse Experience Replay for Neural Approximation [7.6146285961466]
  最近開発された理論上は厳格なリバース・エクスペリエンス・リプレイ(RER)について考察する。 実験を通して、様々なタスクにおけるPER(Preferd Experience Replay)のようなテクニックよりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-06-07T10:42:02Z)
• Self-Supervised Learning for MRI Reconstruction with a Parallel Network Training Framework [24.46388892324129]
  提案手法は柔軟であり,既存のディープラーニング手法にも適用可能である。 本手法の有効性を、オープン脳MRIデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-26T06:09:56Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。