論文の概要: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2309.15038v2
• Date: Fri, 03 Jan 2025 04:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 16:38:31.290519
• Title: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
• Title（参考訳）: HPCR:オンライン連続学習のためのホロスティックなプロキシベースのコントラストリプレイ
• Authors: Huiwei Lin, Shanshan Feng, Baoquan Zhang, Xutao Li, Yunming Ye,
• Abstract要約: オンライン連続学習は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習するニューラルネットワークを開発することを目的としている。 既存のリプレイベースのメソッドは、部分的に古いデータをプロキシベースまたはコントラストベースのリプレイ方法でリプレイすることで、忘れを緩和する。
• 参考スコア（独自算出の注目度）: 23.70942253222081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning, aimed at developing a neural network that continuously learns new data from a single pass over an online data stream, generally suffers from catastrophic forgetting. Existing replay-based methods alleviate forgetting by replaying partial old data in a proxy-based or contrastive-based replay manner, each with its own shortcomings. Our previous work proposes a novel replay-based method called proxy-based contrastive replay (PCR), which handles the shortcomings by achieving complementary advantages of both replay manners. In this work, we further conduct gradient and limitation analysis of PCR. The analysis results show that PCR still can be further improved in feature extraction, generalization, and anti-forgetting capabilities of the model. Hence, we develop a more advanced method named holistic proxy-based contrastive replay (HPCR). HPCR consists of three components, each tackling one of the limitations of PCR. The contrastive component conditionally incorporates anchor-to-sample pairs to PCR, improving the feature extraction ability. The second is a temperature component that decouples the temperature coefficient into two parts based on their gradient impacts and sets different values for them to enhance the generalization ability. The third is a distillation component that constrains the learning process with additional loss terms to improve the anti-forgetting ability. Experiments on four datasets consistently demonstrate the superiority of HPCR over various state-of-the-art methods.
• Abstract（参考訳）: オンライン連続学習は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習するニューラルネットワークを開発することを目的としており、一般的に破滅的な忘れ込みに悩まされている。 既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で、部分的な古いデータをリプレイすることで、忘れを緩和する。 本研究は,プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。 本研究ではPCRの勾配解析と制限解析をさらに行う。 解析の結果, PCRは, モデルの特徴抽出, 一般化, および抗鍛造能力において, さらなる改善が期待できることがわかった。 そこで本研究では,HPCR (hollistic proxy-based contrastive replay) という,より高度な手法を開発した。 HPCRは3つの成分から構成され、それぞれがPCRの限界の1つに取り組む。 コントラスト成分はPCRにアンカーとサンプルのペアを組み込み、特徴抽出能力を向上させる。 2つ目は、温度係数を勾配の影響に基づいて2つの部分に分解し、一般化能力を高めるために異なる値を設定する温度成分である。 第3の要素は蒸留であり、学習過程をさらなる損失項で制限し、抗鍛造能力を向上させる。 4つのデータセットの実験は、様々な最先端手法よりもHPCRの方が優れていることを一貫して示している。

関連論文リスト

• A Plug-and-Play Method for Guided Multi-contrast MRI Reconstruction based on Content/Style Modeling [1.1622133377827824]
  誘導再建のためのモジュラー2段階手法を提案する。 放射線学的な課題として、MUNITは診断品質における臨床再建よりも33.3%の加速を可能にした。
  論文  参考訳（メタデータ） (2024-09-20T13:08:51Z)
• INN-PAR: Invertible Neural Network for PPG to ABP Reconstruction [9.127220498800645]
  ABP再建のための可逆ニューラルネットワーク(INN-PAR)を提案する。 INN-PARは、フォワードマッピングと逆マッピングの両方を同時に捕捉し、情報損失を防止する。 本稿では,可逆ブロック内のマルチスケール畳み込みモジュール(MSCM)を提案する。
  論文  参考訳（メタデータ） (2024-09-13T17:48:48Z)
• REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning [12.197327462627912]
  EFCIL(Exemplar-free class-incremental Learning)のための表現強化分析学習(REAL)を提案する。 REALは、二重ストリームベース事前訓練(DS-BPT)および表現強化蒸留(RED)プロセスを構築し、抽出器の表現を強化する。 本手法は,既存のALベースCILの凍結バックボーンによって引き起こされる未確認データの表現において,識別性が不十分な問題に対処する。
  論文  参考訳（メタデータ） (2024-03-20T11:48:10Z)
• Retrosynthesis prediction enhanced by in-silico reaction data augmentation [66.5643280109899]
  RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。 3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-31T07:40:37Z)
• Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
  本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。 新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。 リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。 本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
  論文  参考訳（メタデータ） (2023-05-24T02:52:30Z)
• PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning [16.67238259139417]
  既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。 プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T06:35:19Z)
• PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification [76.40417061480564]
  本稿では、パートベース可視赤外線人物再識別(VI-ReID)モデルに対して、PartMixと呼ばれる新しいデータ拡張手法を提案する。 部分記述子をモダリティに混合することにより、拡張サンプルを合成し、パートベースVI-ReIDモデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-04T05:21:23Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
  FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。 データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。 本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:30:51Z)
• Look Back When Surprised: Stabilizing Reverse Experience Replay for Neural Approximation [7.6146285961466]
  最近開発された理論上は厳格なリバース・エクスペリエンス・リプレイ(RER)について考察する。 実験を通して、様々なタスクにおけるPER(Preferd Experience Replay)のようなテクニックよりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-06-07T10:42:02Z)
• Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces [0.456877715768796]
  光合成信号は、医療、幸福、スポーツなど、多くの分野で重要な技術となっている。 本研究は,顔からPSG信号を安定かつ確実に抽出するパイプラインの集合を提案する。
  論文  参考訳（メタデータ） (2022-02-08T19:06:20Z)
• Adaptive Contrast for Image Regression in Computer-Aided Disease Assessment [22.717658723840255]
  深部画像回帰のための最初のコントラスト学習フレームワーク,すなわちAdaConを提案する。 AdaConは、新しいアダプティブマージンコントラスト損失と回帰予測ブランチによる特徴学習ブランチで構成されている。 AdaConの2つの医用画像回帰作業における効果を実証する。
  論文  参考訳（メタデータ） (2021-12-22T07:13:02Z)
• Self-Supervised Learning for MRI Reconstruction with a Parallel Network Training Framework [24.46388892324129]
  提案手法は柔軟であり,既存のディープラーニング手法にも適用可能である。 本手法の有効性を、オープン脳MRIデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-26T06:09:56Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Predicting the Binding of SARS-CoV-2 Peptides to the Major Histocompatibility Complex with Recurrent Neural Networks [0.40040974874482094]
  我々は、繰り返しニューラルネットワークに基づく概念的にシンプルな予測アルゴリズムであるUSMPepを適応し、拡張する。 最近リリースされたSARS-CoV-2データセットの性能をバインディング安定性測定で評価します。
  論文  参考訳（メタデータ） (2021-04-16T17:16:35Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Simultaneous Estimation of X-ray Back-Scatter and Forward-Scatter using Multi-Task Learning [59.17383024536595]
  後方散乱は複雑な介入の際の患者(皮膚)の服用に大きく寄与する。 前方散乱放射線は投影画像のコントラストを低減し、3次元再構成でアーティファクトを導入する。 本稿では,従来の手法と学習に基づく手法を組み合わせて,検出器に到達した前方散乱を同時に推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-08T10:47:37Z)
• AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement with Neural Searching [76.4844593082362]
  既存のエンド・ツー・エンドのネットワークが難易度が低い理由を考察し,アーキテクチャ・サーチ(NAS)を用いたリモートHR計測のための強力なベースラインを確立する。 総合的な実験は、時間内テストとクロスデータセットテストの両方で3つのベンチマークデータセットで実施される。
  論文  参考訳（メタデータ） (2020-04-26T05:43:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。