論文の概要: Memory-efficient Continual Learning with Neural Collapse Contrastive

• arxiv url: http://arxiv.org/abs/2412.02865v3
• Date: Fri, 06 Dec 2024 10:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 12:36:41.899986
• Title: Memory-efficient Continual Learning with Neural Collapse Contrastive
• Title（参考訳）: ニューラルネットワークを用いたメモリ効率の連続学習
• Authors: Trung-Anh Dang, Vincent Nguyen, Ngoc-Son Vu, Christel Vrain,
• Abstract要約: コントラスト学習は表現品質を大幅に改善し、連続学習(CL)におけるタスク間の知識伝達を高めた しかし、対照的な手法は主にサンプル間の「ソフトな関係」や「ソフトな関係」に焦点を当てているため、破滅的な忘れは依然として重要な課題である。 本稿では,ソフトな関係とハードな関係を効果的にバランスさせる新しい表現学習損失であるFNC2を提案する。
• 参考スコア（独自算出の注目度）: 5.843533603338313
• License:
• Abstract: Contrastive learning has significantly improved representation quality, enhancing knowledge transfer across tasks in continual learning (CL). However, catastrophic forgetting remains a key challenge, as contrastive based methods primarily focus on "soft relationships" or "softness" between samples, which shift with changing data distributions and lead to representation overlap across tasks. Recently, the newly identified Neural Collapse phenomenon has shown promise in CL by focusing on "hard relationships" or "hardness" between samples and fixed prototypes. However, this approach overlooks "softness", crucial for capturing intra-class variability, and this rigid focus can also pull old class representations toward current ones, increasing forgetting. Building on these insights, we propose Focal Neural Collapse Contrastive (FNC^2), a novel representation learning loss that effectively balances both soft and hard relationships. Additionally, we introduce the Hardness-Softness Distillation (HSD) loss to progressively preserve the knowledge gained from these relationships across tasks. Our method outperforms state-of-the-art approaches, particularly in minimizing memory reliance. Remarkably, even without the use of memory, our approach rivals rehearsal-based methods, offering a compelling solution for data privacy concerns.
• Abstract（参考訳）: コントラスト学習は表現の質を著しく向上させ、連続学習(CL)におけるタスク間の知識伝達を高めた。 しかし、コントラストベースの手法は、主にサンプル間の「ソフトな関係」や「ソフトな関係」に焦点を合わせており、これはデータ分布の変化によって変化し、タスク間の重複が引き起こされるため、破滅的な忘れは依然として重要な課題である。 近年、新たに同定されたニューラル・コラプス現象は、サンプルと固定プロトタイプの「硬さ」や「硬さ」に焦点をあてることで、CLにおいて有望であることが示されている。 しかし、このアプローチは、クラス内の変数をキャプチャするために不可欠である"ソフトネス"を見落としており、この厳密な焦点は、古いクラス表現を現在のものへと引き寄せ、忘れることを増やすことができる。 これらの知見に基づいて,ソフトとハードの両関係を効果的にバランスさせる新しい表現学習損失であるFNC(Foccal Neural Collapse Contrastive)を提案する。 さらに,タスク間の関係から得られる知識を段階的に保存するために,ハードネス・ソフトネス蒸留(HSD)の損失を導入する。 本手法は,特にメモリ依存の最小化において,最先端の手法よりも優れている。 メモリを使用しなくても、我々のアプローチはリハーサルベースの手法と競合し、データプライバシの懸念に対して魅力的なソリューションを提供する。

関連論文リスト

• Exploring Contrastive Learning for Long-Tailed Multi-Label Text Classification [48.81069245141415]
  マルチラベルテキスト分類のための新しいコントラスト損失関数を提案する。 マイクロF1スコアは、他の頻繁に採用される損失関数と一致するか、上回っている。 これは、3つのマルチラベルデータセットでMacro-F1スコアが大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-12T11:12:16Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
  関係埋め込みの安定性を維持する一貫した表現学習法を提案する。 我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
  論文  参考訳（メタデータ） (2022-03-05T12:16:34Z)
• Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning [67.99349091593324]
  連続学習シナリオにおける減量景観と感度安定性の関係について検討した。 提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-09T15:13:44Z)
• Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping [10.970706194360451]
  ニューラルネットワークにおける破滅的な忘れは、継続的な学習にとって重要な問題です。 最適オーバーラップ仮説にインスパイアされたRelevance Mapping Networks(RMN)を紹介します。 我々は、RMNが破滅的な忘れと記憶の双対の問題を乗り越える最適化された表現重複を学ぶことを示しています。
  論文  参考訳（メタデータ） (2021-02-22T20:34:00Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。