論文の概要: Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics

• arxiv url: http://arxiv.org/abs/2007.07400v1
• Date: Tue, 14 Jul 2020 23:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 13:32:02.825619
• Title: Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
• Title（参考訳）: 破滅的忘れの解剖--隠れた表現とタスクの意味論
• Authors: Vinay V. Ramasesh, Ethan Dyer, Maithra Raghu
• Abstract要約: ニューラルネットワークモデルにおいて,忘れることが表現に与える影響について検討する。 深い層が忘れる原因であることに気付きました。 また,CIFAR-100をベースとした,現実的な入力分布シフトを近似するタスクも導入する。
• 参考スコア（独自算出の注目度）: 24.57617154267565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central challenge in developing versatile machine learning systems is catastrophic forgetting: a model trained on tasks in sequence will suffer significant performance drops on earlier tasks. Despite the ubiquity of catastrophic forgetting, there is limited understanding of the underlying process and its causes. In this paper, we address this important knowledge gap, investigating how forgetting affects representations in neural network models. Through representational analysis techniques, we find that deeper layers are disproportionately the source of forgetting. Supporting this, a study of methods to mitigate forgetting illustrates that they act to stabilize deeper layers. These insights enable the development of an analytic argument and empirical picture relating the degree of forgetting to representational similarity between tasks. Consistent with this picture, we observe maximal forgetting occurs for task sequences with intermediate similarity. We perform empirical studies on the standard split CIFAR-10 setup and also introduce a novel CIFAR-100 based task approximating realistic input distribution shift.
• Abstract（参考訳）: 汎用機械学習システムの開発における中心的な課題は、破滅的な忘れさだ。タスクの順序でトレーニングされたモデルが、以前のタスクで大幅なパフォーマンス低下を被る。 破滅的な忘れ物が多用されているにもかかわらず、基礎となるプロセスとその原因についての理解は限られている。 本稿では,この重要な知識ギャップに対処し,ニューラルネットワークモデルにおいて,忘れることが表現に与える影響について検討する。 表現分析手法により,深い層が忘れの源であることがわかった。 これを支持するために、忘れを緩和する方法の研究は、より深い層を安定化するために働くことを示す。 これらの洞察は、タスク間の表象的類似性を忘れる程度に関連する分析的議論と経験的図の開発を可能にする。 この図と一致して、中間相似性を持つタスクシーケンスの最大忘れが観測される。 我々は、標準分割CIFAR-10セットアップに関する実証的研究を行い、また、現実的な入力分布シフトを近似する新しいCIFAR-100タスクを導入する。

関連論文リスト

• CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
  本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。 本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。 本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-25T03:08:50Z)
• Sequential Action-Induced Invariant Representation for Reinforcement Learning [1.2046159151610263]
  視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。 本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T05:31:55Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Contrastive Supervised Distillation for Continual Representation Learning [18.864301420659217]
  ニューラルネットワークモデルは、視覚検索タスクにおける破滅的な忘れを緩和するために順次学習される。 Contrastive Supervised Distillation (CSD) と呼ばれる本手法は, 識別的特徴を学習しながら, 特徴忘れを減らす。
  論文  参考訳（メタデータ） (2022-05-11T13:20:47Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Hierarchical Bayesian Bandits [51.67132887113412]
  このクラスでは,任意の問題に適用可能な自然階層型トンプソンサンプリングアルゴリズム (hierTS) を解析する。 私たちの後悔の限界は、タスクが順次あるいは並列に解決された場合を含む、そのような問題の多くの事例に当てはまる。 実験により、階層構造はタスク間の知識共有に役立つことが示された。
  論文  参考訳（メタデータ） (2021-11-12T20:33:09Z)
• Do Self-Supervised and Supervised Methods Learn Similar Visual Representations? [3.1594831736896025]
  コンストラシティブな自己教師付きアルゴリズム(SimCLR)と、共通アーキテクチャにおける単純な画像データの監視を比較した。 両手法は相似的な方法で類似の中間表現を学習し,最後の数層で表現が急速に発散することがわかった。 我々の研究は特に、学習した中間表現の重要性を強調し、補助的なタスク設計において重要な疑問を提起する。
  論文  参考訳（メタデータ） (2021-10-01T16:51:29Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。