論文の概要: Explaining How Deep Neural Networks Forget by Deep Visualization

• arxiv url: http://arxiv.org/abs/2005.01004v3
• Date: Fri, 22 Jul 2022 22:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:13:43.911527
• Title: Explaining How Deep Neural Networks Forget by Deep Visualization
• Title（参考訳）: ディープ・ビジュアライゼーションによるディープ・ニューラルネットワークの忘れ方
• Authors: Giang Nguyen, Shuan Chen, Tae Joon Jun, Daeyoung Kim
• Abstract要約: 本稿では, 連続学習環境における破滅的忘れを解くための, CFD (Caastrophic Forgetting Dissector) と呼ばれる新しいツールを提案する。 また,ツールの観察に基づく「クリティカルフリーズ」という新しい手法も導入した。
• 参考スコア（独自算出の注目度）: 4.773519114014863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explaining the behaviors of deep neural networks, usually considered as black boxes, is critical especially when they are now being adopted over diverse aspects of human life. Taking the advantages of interpretable machine learning (interpretable ML), this paper proposes a novel tool called Catastrophic Forgetting Dissector (or CFD) to explain catastrophic forgetting in continual learning settings. We also introduce a new method called Critical Freezing based on the observations of our tool. Experiments on ResNet articulate how catastrophic forgetting happens, particularly showing which components of this famous network are forgetting. Our new continual learning algorithm defeats various recent techniques by a significant margin, proving the capability of the investigation. Critical freezing not only attacks catastrophic forgetting but also exposes explainability.
• Abstract（参考訳）: 深層ニューラルネットワークの振る舞いを説明することは、通常ブラックボックスと見なされるが、特に人間の生活のさまざまな側面で採用されている場合に重要である。 本稿では、解釈可能な機械学習(ML)の利点を生かして、連続的な学習環境における破滅的な忘れ方を説明するための、カタストロフィック・フォーッティング・ディセクター(CFD)と呼ばれる新しいツールを提案する。 また,本ツールの観察に基づいて,臨界凍結と呼ばれる新しい手法を提案する。 resnetの実験は、この有名なネットワークのどのコンポーネントが忘れているかを示す、壊滅的な忘れ方を示す。 新しい連続学習アルゴリズムは,近年の様々な手法をかなりのマージンで打ち負かし,調査の能力を証明する。 臨界凍結は破滅的な忘れ方を攻撃するだけでなく、説明可能性も露呈する。

関連論文リスト

• Overcoming Catastrophic Forgetting by XAI [2.7108077802281896]
  本研究は、連続的な学習環境における破滅的な忘れ方を説明するために、カタストロフィック・フォーッティング・ディセクター(CFD)と呼ばれる新しいツールを提案する。 また,ツールの観察に基づく「クリティカルフリーズ」という新しい手法も導入した。
  論文  参考訳（メタデータ） (2022-11-25T15:32:07Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• A Study of the Mathematics of Deep Learning [1.14219428942199]
  深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。 この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
  論文  参考訳（メタデータ） (2021-04-28T22:05:54Z)
• Explaining Network Intrusion Detection System Using Explainable AI Framework [0.5076419064097734]
  侵入検知システムは、今日の世界のサイバー安全の重要なレイヤーの1つです。 本稿では,ディープニューラルネットワークを用いてネットワーク侵入検出を行った。 また、機械学習パイプラインの各段階で透明性を追加する説明可能なAIフレームワークも提案しました。
  論文  参考訳（メタデータ） (2021-03-12T07:15:09Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization [5.377835792555972]
  本稿では,連続学習における破滅的忘れを解消するAuto DeepVisと呼ばれる新しい手法を提案する。 臨界凍結と呼ばれる破滅的な忘れ物を扱う新しい方法も紹介されている。
  論文  参考訳（メタデータ） (2020-01-06T13:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。