論文の概要: The Importance of Robust Features in Mitigating Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2306.17091v1
• Date: Thu, 29 Jun 2023 16:48:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 12:28:51.956971
• Title: The Importance of Robust Features in Mitigating Catastrophic Forgetting
• Title（参考訳）: 栄養失調の緩和におけるロバストな特徴の重要性
• Authors: Hikmat Khan, Nidhal C. Bouaynaya, Ghulam Rasoom
• Abstract要約: CLロバストデータセットを導入し、標準とCLロバストデータセットの両方で4つのベースラインモデルをトレーニングする。 その結果,CL頑健なデータセットでトレーニングしたCLモデルは,従来学習したタスクを標準データセットでトレーニングした場合よりも,破滅的な忘れを伴わないことがわかった。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) is an approach to address catastrophic forgetting, which refers to forgetting previously learned knowledge by neural networks when trained on new tasks or data distributions. The adversarial robustness has decomposed features into robust and non-robust types and demonstrated that models trained on robust features significantly enhance adversarial robustness. However, no study has been conducted on the efficacy of robust features from the lens of the CL model in mitigating catastrophic forgetting in CL. In this paper, we introduce the CL robust dataset and train four baseline models on both the standard and CL robust datasets. Our results demonstrate that the CL models trained on the CL robust dataset experienced less catastrophic forgetting of the previously learned tasks than when trained on the standard dataset. Our observations highlight the significance of the features provided to the underlying CL models, showing that CL robust features can alleviate catastrophic forgetting.
• Abstract（参考訳）: 連続学習(CL)は破滅的な忘れに対処するアプローチであり、新しいタスクやデータ分散のトレーニングでニューラルネットワークが学習した知識を忘れることを指す。 対向ロバスト性は、特徴をロバスト型と非ロバスト型に分解し、ロバストな特徴に基づいて訓練されたモデルが対向ロバスト性を大幅に向上させることを示した。 しかし,clモデルのレンズからのロバストな特徴がclの破滅的忘れることに対する効果についての研究は行われていない。 本稿では、CLロバストデータセットを導入し、標準とCLロバストデータセットの両方で4つのベースラインモデルをトレーニングする。 その結果,CL頑健なデータセットでトレーニングしたCLモデルは,従来学習したタスクを標準データセットでトレーニングした場合よりも,破滅的な忘れを伴わないことがわかった。 本研究は, CLモデルに提供される特徴の意義を強調し, CLの頑健な特徴が破滅的忘れを軽減できることを示した。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
  継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。 タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T04:15:58Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• A Comprehensive Study of Privacy Risks in Curriculum Learning [25.57099711643689]
  有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。 重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。 しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
  論文  参考訳（メタデータ） (2023-10-16T07:06:38Z)
• Robustness-preserving Lifelong Learning via Dataset Condensation [11.83450966328136]
  「破滅的忘れ」とは、新しいデータよりもモデルの精度が向上し、以前のデータよりも精度が保たれるという悪名高いジレンマを指す。 本稿では,現在のデータの「コアセット」を決定するために,現代の二段階最適化手法を活用する新しいメモリ再生LL戦略を提案する。 結果の LL フレームワークを 'Data-Efficient Robustness-Preserving LL' (DERPLL) と呼ぶ。 実験の結果, DERPLLは従来のコアセット誘導LLベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-07T19:09:03Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。