論文の概要: The Importance of Robust Features in Mitigating Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2306.17091v1
- Date: Thu, 29 Jun 2023 16:48:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 12:28:51.956971
- Title: The Importance of Robust Features in Mitigating Catastrophic Forgetting
- Title(参考訳): 栄養失調の緩和におけるロバストな特徴の重要性
- Authors: Hikmat Khan, Nidhal C. Bouaynaya, Ghulam Rasoom
- Abstract要約: CLロバストデータセットを導入し、標準とCLロバストデータセットの両方で4つのベースラインモデルをトレーニングする。
その結果,CL頑健なデータセットでトレーニングしたCLモデルは,従来学習したタスクを標準データセットでトレーニングした場合よりも,破滅的な忘れを伴わないことがわかった。
- 参考スコア(独自算出の注目度): 0.7734726150561088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) is an approach to address catastrophic forgetting,
which refers to forgetting previously learned knowledge by neural networks when
trained on new tasks or data distributions. The adversarial robustness has
decomposed features into robust and non-robust types and demonstrated that
models trained on robust features significantly enhance adversarial robustness.
However, no study has been conducted on the efficacy of robust features from
the lens of the CL model in mitigating catastrophic forgetting in CL. In this
paper, we introduce the CL robust dataset and train four baseline models on
both the standard and CL robust datasets. Our results demonstrate that the CL
models trained on the CL robust dataset experienced less catastrophic
forgetting of the previously learned tasks than when trained on the standard
dataset. Our observations highlight the significance of the features provided
to the underlying CL models, showing that CL robust features can alleviate
catastrophic forgetting.
- Abstract(参考訳): 連続学習(CL)は破滅的な忘れに対処するアプローチであり、新しいタスクやデータ分散のトレーニングでニューラルネットワークが学習した知識を忘れることを指す。
対向ロバスト性は、特徴をロバスト型と非ロバスト型に分解し、ロバストな特徴に基づいて訓練されたモデルが対向ロバスト性を大幅に向上させることを示した。
しかし,clモデルのレンズからのロバストな特徴がclの破滅的忘れることに対する効果についての研究は行われていない。
本稿では、CLロバストデータセットを導入し、標準とCLロバストデータセットの両方で4つのベースラインモデルをトレーニングする。
その結果,CL頑健なデータセットでトレーニングしたCLモデルは,従来学習したタスクを標準データセットでトレーニングした場合よりも,破滅的な忘れを伴わないことがわかった。
本研究は, CLモデルに提供される特徴の意義を強調し, CLの頑健な特徴が破滅的忘れを軽減できることを示した。
関連論文リスト
- Poisoning Attacks Against Contrastive Recommender Systems [51.82775185547039]
コントラスト学習(CL)は近年,推薦分野において大きな人気を集めている。
従来の研究では、CLはレコメンデーションの精度を向上するだけでなく、ノイズに対する顕著な堅牢性を示すことも見出されている。
本稿では,CLをベースとしたリコメンデータシステムの脆弱性を特定し,ターゲットアイテムの促進を目的とした毒殺攻撃の危険性を明らかにする。
論文 参考訳(メタデータ) (2023-11-30T04:25:28Z) - A Comprehensive Study of Privacy Risks in Curriculum Learning [25.57099711643689]
有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。
重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。
しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
論文 参考訳(メタデータ) (2023-10-16T07:06:38Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳(メタデータ) (2023-03-11T05:17:59Z) - Robustness-preserving Lifelong Learning via Dataset Condensation [11.83450966328136]
「破滅的忘れ」とは、新しいデータよりもモデルの精度が向上し、以前のデータよりも精度が保たれるという悪名高いジレンマを指す。
本稿では,現在のデータの「コアセット」を決定するために,現代の二段階最適化手法を活用する新しいメモリ再生LL戦略を提案する。
結果の LL フレームワークを 'Data-Efficient Robustness-Preserving LL' (DERPLL) と呼ぶ。
実験の結果, DERPLLは従来のコアセット誘導LLベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-03-07T19:09:03Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。
具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。
学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
論文 参考訳(メタデータ) (2022-07-24T08:51:02Z) - A Comprehensive Empirical Study of Vision-Language Pre-trained Model for
Supervised Cross-Modal Retrieval [19.2650103482509]
CMR(Cross-Modal Retrieval)はマルチモーダルコンピューティングと情報検索における重要な研究トピックである。
私たちはCLIPを現在の視覚言語事前訓練モデルとして、総合的な実証的研究を行う。
本稿では,プレトレーニングCLIPをバックボーンネットワークとして利用し,教師付きCMRを実現する新しいモデルCLIP4CMRを提案する。
論文 参考訳(メタデータ) (2022-01-08T06:00:22Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳(メタデータ) (2021-12-08T10:39:13Z) - When Does Contrastive Learning Preserve Adversarial Robustness from
Pretraining to Finetuning? [99.4914671654374]
本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。
本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
論文 参考訳(メタデータ) (2021-11-01T17:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。