論文の概要: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual
Learning
- arxiv url: http://arxiv.org/abs/2309.15038v1
- Date: Tue, 26 Sep 2023 16:12:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 12:52:33.021044
- Title: HPCR: Holistic Proxy-based Contrastive Replay for Online Continual
Learning
- Title（参考訳）: HPCR:オンライン連続学習のためのホロスティックなプロキシベースのコントラストリプレイ
- Authors: Huiwei Lin, Shanshan Feng, Baoquan Zhang, Xutao Li, Yew-soon Ong,
Yunming Ye
- Abstract要約: オンライン連続学習(OCL)は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習することを目的としている。
既存のリプレイベースのメソッドは、プロキシベースのあるいは対照的なリプレイ方式で古いデータの一部をリプレイすることで、この問題を効果的に緩和する。
この発見に触発されて、プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
- 参考スコア（独自算出の注目度）: 44.65144198656702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online continual learning (OCL) aims to continuously learn new data from a
single pass over the online data stream. It generally suffers from the
catastrophic forgetting issue. Existing replay-based methods effectively
alleviate this issue by replaying part of old data in a proxy-based or
contrastive-based replay manner. In this paper, we conduct a comprehensive
analysis of these two replay manners and find they can be complementary.
Inspired by this finding, we propose a novel replay-based method called
proxy-based contrastive replay (PCR), which replaces anchor-to-sample pairs
with anchor-to-proxy pairs in the contrastive-based loss to alleviate the
phenomenon of forgetting. Based on PCR, we further develop a more advanced
method named holistic proxy-based contrastive replay (HPCR), which consists of
three components. The contrastive component conditionally incorporates
anchor-to-sample pairs to PCR, learning more fine-grained semantic information
with a large training batch. The second is a temperature component that
decouples the temperature coefficient into two parts based on their impacts on
the gradient and sets different values for them to learn more novel knowledge.
The third is a distillation component that constrains the learning process to
keep more historical knowledge. Experiments on four datasets consistently
demonstrate the superiority of HPCR over various state-of-the-art methods.
- Abstract（参考訳）: オンライン連続学習(OCL)は、オンラインデータストリーム上の単一パスから新しいデータを継続的に学習することを目的としている。
一般的には破滅的な忘れ物問題に苦しむ。
既存のリプレイベースメソッドは、古いデータをプロキシベースまたはコントラストベースのリプレイ方法でリプレイすることで、この問題を効果的に軽減する。
本稿では,これら2つのリプレイ手法を包括的に分析し,相補的であることを示す。
そこで本研究では,アンカーとサンプルのペアをアンカーとプロキシのペアに置き換える,プロキシベースのコントラストリプレイ(pcr)と呼ばれる新しいリプレイ方式を提案する。
PCRをベースとしたHPCR法は,3成分からなる総合的プロキシベースコントラストリプレイ法 (HPCR) という,より高度な手法をさらに発展させる。
コントラスト成分はPCRにアンカーとサンプルのペアを組み込んでおり、よりきめ細かいセマンティック情報を大きな訓練バッチで学習する。
2つ目は、温度係数が勾配に与える影響に基づいて2つの部分に分割する温度成分であり、新しい知識を学ぶために異なる値を設定する。
3つ目は、歴史的知識を維持するために学習プロセスを制約する蒸留成分である。
4つのデータセットに関する実験は、様々な最先端手法に対するhpcrの優位性を一貫して証明している。
関連論文リスト
- INN-PAR: Invertible Neural Network for PPG to ABP Reconstruction [9.127220498800645]
ABP再建のための可逆ニューラルネットワーク(INN-PAR)を提案する。
INN-PARは、フォワードマッピングと逆マッピングの両方を同時に捕捉し、情報損失を防止する。
本稿では,可逆ブロック内のマルチスケール畳み込みモジュール(MSCM)を提案する。
論文 参考訳（メタデータ） (2024-09-13T17:48:48Z) - Retrosynthesis prediction enhanced by in-silico reaction data
augmentation [66.5643280109899]
RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。
3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-01-31T07:40:37Z) - PCR: Proxy-based Contrastive Replay for Online Class-Incremental
Continual Learning [16.67238259139417]
既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。
プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
論文 参考訳（メタデータ） (2023-04-10T06:35:19Z) - PartMix: Regularization Strategy to Learn Part Discovery for
Visible-Infrared Person Re-identification [76.40417061480564]
本稿では、パートベース可視赤外線人物再識別(VI-ReID)モデルに対して、PartMixと呼ばれる新しいデータ拡張手法を提案する。
部分記述子をモダリティに混合することにより、拡張サンプルを合成し、パートベースVI-ReIDモデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-04-04T05:21:23Z) - Dataset Distillation via Factorization [58.8114016318593]
既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。
emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。
提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
論文 参考訳（メタデータ） (2022-10-30T08:36:19Z) - Face2PPG: An unsupervised pipeline for blood volume pulse extraction
from faces [0.456877715768796]
光合成信号は、医療、幸福、スポーツなど、多くの分野で重要な技術となっている。
本研究は,顔からPSG信号を安定かつ確実に抽出するパイプラインの集合を提案する。
論文 参考訳（メタデータ） (2022-02-08T19:06:20Z) - Adaptive Contrast for Image Regression in Computer-Aided Disease
Assessment [22.717658723840255]
深部画像回帰のための最初のコントラスト学習フレームワーク,すなわちAdaConを提案する。
AdaConは、新しいアダプティブマージンコントラスト損失と回帰予測ブランチによる特徴学習ブランチで構成されている。
AdaConの2つの医用画像回帰作業における効果を実証する。
論文 参考訳（メタデータ） (2021-12-22T07:13:02Z) - Cross-Site Severity Assessment of COVID-19 from CT Images via Domain
Adaptation [64.59521853145368]
CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。
ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。
この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
論文 参考訳（メタデータ） (2021-09-08T07:56:51Z) - Predicting the Binding of SARS-CoV-2 Peptides to the Major
Histocompatibility Complex with Recurrent Neural Networks [0.40040974874482094]
我々は、繰り返しニューラルネットワークに基づく概念的にシンプルな予測アルゴリズムであるUSMPepを適応し、拡張する。
最近リリースされたSARS-CoV-2データセットの性能をバインディング安定性測定で評価します。
論文 参考訳（メタデータ） (2021-04-16T17:16:35Z) - Simultaneous Estimation of X-ray Back-Scatter and Forward-Scatter using
Multi-Task Learning [59.17383024536595]
後方散乱は複雑な介入の際の患者(皮膚)の服用に大きく寄与する。
前方散乱放射線は投影画像のコントラストを低減し、3次元再構成でアーティファクトを導入する。
本稿では,従来の手法と学習に基づく手法を組み合わせて,検出器に到達した前方散乱を同時に推定する手法を提案する。
論文 参考訳（メタデータ） (2020-07-08T10:47:37Z) - AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement
with Neural Searching [76.4844593082362]
既存のエンド・ツー・エンドのネットワークが難易度が低い理由を考察し,アーキテクチャ・サーチ(NAS)を用いたリモートHR計測のための強力なベースラインを確立する。
総合的な実験は、時間内テストとクロスデータセットテストの両方で3つのベンチマークデータセットで実施される。
論文 参考訳（メタデータ） (2020-04-26T05:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。