論文の概要: On robustness of generative representations against catastrophic forgetting

• arxiv url: http://arxiv.org/abs/2109.01844v1
• Date: Sat, 4 Sep 2021 11:33:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 09:08:17.117769
• Title: On robustness of generative representations against catastrophic forgetting
• Title（参考訳）: 破滅的忘れに対する生成的表現の堅牢性について
• Authors: Wojciech Masarczyk, Kamil Deja, Tomasz Trzci\'nski
• Abstract要約: 新しいタスクを学習しながら学習した知識を破滅的に忘れることは、現代のニューラルネットワークの限界として広く観察されている。 本研究では,ニューラルモデルにより内部に構築された表現の特異性に関する一連の研究仮説をポーズし,検証することにより,この問題に対処することを目的とする。 識別モデルにより学習された表現は、その生成モデルよりも破滅的な忘れがちであり、連続学習のための生成モデルを開発する利点に新たな光を当てている。
• 参考スコア（独自算出の注目度）: 17.467589890017123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting of previously learned knowledge while learning new tasks is a widely observed limitation of contemporary neural networks. Although many continual learning methods are proposed to mitigate this drawback, the main question remains unanswered: what is the root cause of catastrophic forgetting? In this work, we aim at answering this question by posing and validating a set of research hypotheses related to the specificity of representations built internally by neural models. More specifically, we design a set of empirical evaluations that compare the robustness of representations in discriminative and generative models against catastrophic forgetting. We observe that representations learned by discriminative models are more prone to catastrophic forgetting than their generative counterparts, which sheds new light on the advantages of developing generative models for continual learning. Finally, our work opens new research pathways and possibilities to adopt generative models in continual learning beyond mere replay mechanisms.
• Abstract（参考訳）: 新しいタスクを学習しながら学習した知識を破滅的に忘れることは、現代のニューラルネットワークの限界として広く観察されている。 この欠点を軽減するために多くの継続的学習法が提案されているが、主な疑問は未解決のままである。 本研究では,ニューラルモデルにより内部に構築された表現の特異性に関する一連の研究仮説をポーズし,検証することにより,この問題に対処することを目的とする。 より具体的には、破滅的な忘れ物に対する識別的および生成的モデルにおける表現の堅牢性を比較するための経験的評価セットを設計する。 識別モデルにより学習された表現は、その生成モデルよりも破滅的な忘れがちであり、連続学習のための生成モデルを開発する利点に新たな光を当てている。 最後に,本研究は,再生機構以上の連続学習において生成モデルを採用する新たな研究経路と可能性を開く。

関連論文リスト

• Looking deeper into interpretable deep learning in neuroimaging: a comprehensive survey [20.373311465258393]
  本稿では、ニューロイメージング領域における解釈可能なディープラーニングモデルについて包括的にレビューする。 近年の神経画像研究は、モデル解釈可能性を利用して、モデル予測に最も関係のある解剖学的および機能的脳変化を捉える方法について論じている。
  論文  参考訳（メタデータ） (2023-07-14T04:50:04Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning [27.841725567976315]
  本稿では,逆逆強化学習を利用した新しいフレームワークを提案する。 このフレームワークは、強化学習モデルによる決定のグローバルな説明を提供する。 モデルの意思決定過程を要約することで、モデルが従う直感的な傾向を捉える。
  論文  参考訳（メタデータ） (2022-03-30T17:01:59Z)
• On the Role of Neural Collapse in Transfer Learning [29.972063833424215]
  近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。 神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
  論文  参考訳（メタデータ） (2021-12-30T16:36:26Z)
• When and How to Fool Explainable Models (and Humans) with Adversarial Examples [1.439518478021091]
  説明可能な機械学習モデルに対する敵攻撃の可能性と限界について検討する。 まず、逆例の概念を拡張して、説明可能な機械学習シナリオに適合する。 次に、説明可能なモデルに対して、逆例を生成できるかどうかを総合的に検討する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-05T11:20:55Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)
• Learning to Rationalize for Nonmonotonic Reasoning with Distant Supervision [44.32874972577682]
  モデル予測を説明する自然言語の理性について,ニューラルモデルが判断できる範囲について検討する。 トレーニング済みの言語モデル、ニューラルナレッジモデル、関連するタスクからの遠隔監視を使用します。 我々のモデルは、追加情報から推論が多かれ少なかれ起こりそうな理由を説明するポストホック論理を生成することを約束している。
  論文  参考訳（メタデータ） (2020-12-14T23:50:20Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。