論文の概要: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
- arxiv url: http://arxiv.org/abs/2309.15038v2
- Date: Fri, 03 Jan 2025 04:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-06 15:10:10.484829
- Title: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning
- Title（参考訳）: HPCR:オンライン連続学習のためのホロスティックなプロキシベースのコントラストリプレイ
- Authors: Huiwei Lin, Shanshan Feng, Baoquan Zhang, Xutao Li, Yunming Ye,
- Abstract要約: オンライン連続学習は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習するニューラルネットワークを開発することを目的としている。
既存のリプレイベースのメソッドは、部分的に古いデータをプロキシベースまたはコントラストベースのリプレイ方法でリプレイすることで、忘れを緩和する。
- 参考スコア（独自算出の注目度）: 23.70942253222081
- License:
- Abstract: Online continual learning, aimed at developing a neural network that continuously learns new data from a single pass over an online data stream, generally suffers from catastrophic forgetting. Existing replay-based methods alleviate forgetting by replaying partial old data in a proxy-based or contrastive-based replay manner, each with its own shortcomings. Our previous work proposes a novel replay-based method called proxy-based contrastive replay (PCR), which handles the shortcomings by achieving complementary advantages of both replay manners. In this work, we further conduct gradient and limitation analysis of PCR. The analysis results show that PCR still can be further improved in feature extraction, generalization, and anti-forgetting capabilities of the model. Hence, we develop a more advanced method named holistic proxy-based contrastive replay (HPCR). HPCR consists of three components, each tackling one of the limitations of PCR. The contrastive component conditionally incorporates anchor-to-sample pairs to PCR, improving the feature extraction ability. The second is a temperature component that decouples the temperature coefficient into two parts based on their gradient impacts and sets different values for them to enhance the generalization ability. The third is a distillation component that constrains the learning process with additional loss terms to improve the anti-forgetting ability. Experiments on four datasets consistently demonstrate the superiority of HPCR over various state-of-the-art methods.
- Abstract（参考訳）: オンライン連続学習は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習するニューラルネットワークを開発することを目的としており、一般的に破滅的な忘れ込みに悩まされている。
既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で、部分的な古いデータをリプレイすることで、忘れを緩和する。
本研究は,プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
本研究ではPCRの勾配解析と制限解析をさらに行う。
解析の結果, PCRは, モデルの特徴抽出, 一般化, および抗鍛造能力において, さらなる改善が期待できることがわかった。
そこで本研究では,HPCR (hollistic proxy-based contrastive replay) という,より高度な手法を開発した。
HPCRは3つの成分から構成され、それぞれがPCRの限界の1つに取り組む。
コントラスト成分はPCRにアンカーとサンプルのペアを組み込み、特徴抽出能力を向上させる。
2つ目は、温度係数を勾配の影響に基づいて2つの部分に分解し、一般化能力を高めるために異なる値を設定する温度成分である。
第3の要素は蒸留であり、学習過程をさらなる損失項で制限し、抗鍛造能力を向上させる。
4つのデータセットの実験は、様々な最先端手法よりもHPCRの方が優れていることを一貫して示している。
関連論文リスト
- INN-PAR: Invertible Neural Network for PPG to ABP Reconstruction [9.127220498800645]
ABP再建のための可逆ニューラルネットワーク(INN-PAR)を提案する。
INN-PARは、フォワードマッピングと逆マッピングの両方を同時に捕捉し、情報損失を防止する。
本稿では,可逆ブロック内のマルチスケール畳み込みモジュール(MSCM)を提案する。
論文 参考訳（メタデータ） (2024-09-13T17:48:48Z) - Retrosynthesis prediction enhanced by in-silico reaction data
augmentation [66.5643280109899]
RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。
3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-01-31T07:40:37Z) - PCR: Proxy-based Contrastive Replay for Online Class-Incremental
Continual Learning [16.67238259139417]
既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。
プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
論文 参考訳（メタデータ） (2023-04-10T06:35:19Z) - PartMix: Regularization Strategy to Learn Part Discovery for
Visible-Infrared Person Re-identification [76.40417061480564]
本稿では、パートベース可視赤外線人物再識別(VI-ReID)モデルに対して、PartMixと呼ばれる新しいデータ拡張手法を提案する。
部分記述子をモダリティに混合することにより、拡張サンプルを合成し、パートベースVI-ReIDモデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-04-04T05:21:23Z) - Dataset Distillation via Factorization [58.8114016318593]
既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。
emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。
提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
論文 参考訳（メタデータ） (2022-10-30T08:36:19Z) - Face2PPG: An unsupervised pipeline for blood volume pulse extraction
from faces [0.456877715768796]
光合成信号は、医療、幸福、スポーツなど、多くの分野で重要な技術となっている。
本研究は,顔からPSG信号を安定かつ確実に抽出するパイプラインの集合を提案する。
論文 参考訳（メタデータ） (2022-02-08T19:06:20Z) - Adaptive Contrast for Image Regression in Computer-Aided Disease
Assessment [22.717658723840255]
深部画像回帰のための最初のコントラスト学習フレームワーク,すなわちAdaConを提案する。
AdaConは、新しいアダプティブマージンコントラスト損失と回帰予測ブランチによる特徴学習ブランチで構成されている。
AdaConの2つの医用画像回帰作業における効果を実証する。
論文 参考訳（メタデータ） (2021-12-22T07:13:02Z) - Cross-Site Severity Assessment of COVID-19 from CT Images via Domain
Adaptation [64.59521853145368]
CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。
ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。
この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
論文 参考訳（メタデータ） (2021-09-08T07:56:51Z) - Predicting the Binding of SARS-CoV-2 Peptides to the Major
Histocompatibility Complex with Recurrent Neural Networks [0.40040974874482094]
我々は、繰り返しニューラルネットワークに基づく概念的にシンプルな予測アルゴリズムであるUSMPepを適応し、拡張する。
最近リリースされたSARS-CoV-2データセットの性能をバインディング安定性測定で評価します。
論文 参考訳（メタデータ） (2021-04-16T17:16:35Z) - Simultaneous Estimation of X-ray Back-Scatter and Forward-Scatter using
Multi-Task Learning [59.17383024536595]
後方散乱は複雑な介入の際の患者(皮膚)の服用に大きく寄与する。
前方散乱放射線は投影画像のコントラストを低減し、3次元再構成でアーティファクトを導入する。
本稿では,従来の手法と学習に基づく手法を組み合わせて,検出器に到達した前方散乱を同時に推定する手法を提案する。
論文 参考訳（メタデータ） (2020-07-08T10:47:37Z) - AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement
with Neural Searching [76.4844593082362]
既存のエンド・ツー・エンドのネットワークが難易度が低い理由を考察し,アーキテクチャ・サーチ(NAS)を用いたリモートHR計測のための強力なベースラインを確立する。
総合的な実験は、時間内テストとクロスデータセットテストの両方で3つのベンチマークデータセットで実施される。
論文 参考訳（メタデータ） (2020-04-26T05:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。