論文の概要: Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization

• arxiv url: http://arxiv.org/abs/2001.01578v2
• Date: Tue, 7 Jan 2020 08:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 01:59:49.677562
• Title: Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
• Title（参考訳）: 深い可視化による連続学習における破滅的予測
• Authors: Giang Nguyen, Shuan Chen, Thao Do, Tae Joon Jun, Ho-Jin Choi, Daeyoung Kim
• Abstract要約: 本稿では,連続学習における破滅的忘れを解消するAuto DeepVisと呼ばれる新しい手法を提案する。 臨界凍結と呼ばれる破滅的な忘れ物を扱う新しい方法も紹介されている。
• 参考スコア（独自算出の注目度）: 5.377835792555972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting the behaviors of Deep Neural Networks (usually considered as a black box) is critical especially when they are now being widely adopted over diverse aspects of human life. Taking the advancements from Explainable Artificial Intelligent, this paper proposes a novel technique called Auto DeepVis to dissect catastrophic forgetting in continual learning. A new method to deal with catastrophic forgetting named critical freezing is also introduced upon investigating the dilemma by Auto DeepVis. Experiments on a captioning model meticulously present how catastrophic forgetting happens, particularly showing which components are forgetting or changing. The effectiveness of our technique is then assessed; and more precisely, critical freezing claims the best performance on both previous and coming tasks over baselines, proving the capability of the investigation. Our techniques could not only be supplementary to existing solutions for completely eradicating catastrophic forgetting for life-long learning but also explainable.
• Abstract（参考訳）: 深層ニューラルネットワーク(通常はブラックボックスと見なされる)の振る舞いを解釈することは、特に人間の生活の様々な側面に広く採用されている場合に重要である。 本稿では、説明可能な人工知能の進歩を踏まえ、連続学習における破滅的な忘れを識別するAuto DeepVisと呼ばれる新しい手法を提案する。 また,Auto DeepVisによるジレンマの解明に際し,破滅的な「臨界凍結」に対処する新たな手法が導入された。 キャプションモデルの実験は、特にどのコンポーネントが忘れているか、または変化しているかを示す、破滅的な忘れ方がどのように起こるかを注意深く示す。 より正確には、クリティカルフリーズが、ベースラインよりも以前のタスクと今後のタスクの両方において最高のパフォーマンスを主張し、調査の能力を証明する。 我々の技術は、生涯学習のための破滅的な忘れを完全に根絶するための既存の解決策を補うだけでなく、説明も可能である。

関連論文リスト

• Towards guarantees for parameter isolation in continual learning [31.785686292677813]
  ニューラルネットワークの損失ランドスケープの幾何に着目し,学習と忘れの関連性について検討した。 パラメータ分離に基づく連続学習アルゴリズムのファミリについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-10-02T12:50:15Z)
• Overcoming Catastrophic Forgetting by XAI [2.7108077802281896]
  本研究は、連続的な学習環境における破滅的な忘れ方を説明するために、カタストロフィック・フォーッティング・ディセクター(CFD)と呼ばれる新しいツールを提案する。 また,ツールの観察に基づく「クリティカルフリーズ」という新しい手法も導入した。
  論文  参考訳（メタデータ） (2022-11-25T15:32:07Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• On Learning the Geodesic Path for Incremental Learning [38.222736913855115]
  ニューラルネットワークは、新しい知識を獲得する際に過去の知識を忘れる現象である壊滅的な忘れの問題にひどく苦しんでいます。 破滅的な忘れを克服することは「漸進的学習」の過程をエミュレートする上で重要なことである 増分学習のための最先端の技術は、壊滅的な忘れ物を防ぐための知識蒸留を利用します。
  論文  参考訳（メタデータ） (2021-04-17T15:26:34Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness [63.627760598441796]
  深層学習における対角的強靭性の分野を詳細に検討する。 直感的な対向例と深層ニューラルネットワークの幾何学的関係を強調した。 セキュリティを超えた敵の堅牢性の主な応用について概説する。
  論文  参考訳（メタデータ） (2020-10-19T16:03:46Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)
• Explaining How Deep Neural Networks Forget by Deep Visualization [4.773519114014863]
  本稿では, 連続学習環境における破滅的忘れを解くための, CFD (Caastrophic Forgetting Dissector) と呼ばれる新しいツールを提案する。 また,ツールの観察に基づく「クリティカルフリーズ」という新しい手法も導入した。
  論文  参考訳（メタデータ） (2020-05-03T06:44:38Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。