論文の概要: Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation

• arxiv url: http://arxiv.org/abs/2205.09029v1
• Date: Wed, 18 May 2022 16:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 12:49:29.263898
• Title: Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation
• Title（参考訳）: Maslowの破滅的な予測のハマー:ノードの再使用対ノードアクティベーション
• Authors: Sebastian Lee, Stefano Sarao Mannelli, Claudia Clopath, Sebastian Goldt, Andrew Saxe
• Abstract要約: 連続学習は、人工知能ニューラルネットワークにとって特に困難である。 学習課題間の相違によって忘れられる量は増加しないが、中間的類似性体制では最悪のものと思われる。 分析の結果,ノードアクティベーションとノード再使用のトレードオフが存在することが判明した。
• 参考スコア（独自算出の注目度）: 14.996944635904402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning - learning new tasks in sequence while maintaining performance on old tasks - remains particularly challenging for artificial neural networks. Surprisingly, the amount of forgetting does not increase with the dissimilarity between the learned tasks, but appears to be worst in an intermediate similarity regime. In this paper we theoretically analyse both a synthetic teacher-student framework and a real data setup to provide an explanation of this phenomenon that we name Maslow's hammer hypothesis. Our analysis reveals the presence of a trade-off between node activation and node re-use that results in worst forgetting in the intermediate regime. Using this understanding we reinterpret popular algorithmic interventions for catastrophic interference in terms of this trade-off, and identify the regimes in which they are most effective.
• Abstract（参考訳）: 継続学習 — 古いタスクのパフォーマンスを維持しながら、シークエンスで新しいタスクを学習する — は、人工知能ニューラルネットワークでは特に難しい。 驚くべきことに、学習したタスク間の相違によって忘れられる量は増加しないが、中間的な類似性体制では最悪のものと思われる。 本稿では,合成教師・教師の枠組みと実データ設定の両方を理論的に解析し,maslow's hammer hypothesis と命名する現象を説明する。 分析の結果、ノードのアクティベーションとノードの再使用との間のトレードオフの存在が明らかとなり、中間的な方法では最悪の事態に陥ります。 この理解を用いて、このトレードオフの観点から、破滅的な干渉に対する一般的なアルゴリズムの介入を再解釈し、それらが最も効果的である体制を特定する。

関連論文リスト

• Order parameters and phase transitions of continual learning in deep neural networks [6.349503549199403]
  継続学習(CL)により、動物は事前知識を消去することなく新しいタスクを学習することができる。 ニューラルネットワーク(NN)におけるCLは、破滅的な忘れが原因で困難であり、新しい学習は古いタスクのパフォーマンスを低下させる。 本稿では,ネットワークの入出力マッピングがタスク列を学習する際に特徴付ける,深層広帯域NNにおけるCLの統計力学理論を提案する。
  論文  参考訳（メタデータ） (2024-07-14T20:22:36Z)
• What Does the Gradient Tell When Attacking the Graph Structure [44.44204591087092]
  本稿では,GNNのメッセージパッシング機構により,攻撃者がクラス間エッジを増大させる傾向があることを示す。 異なるノードを接続することで、攻撃者はより効果的にノード機能を破損させ、そのような攻撃をより有利にする。 本研究では,攻撃効率と非受容性のバランスを保ち,より優れた非受容性を実現するために攻撃効率を犠牲にする,革新的な攻撃損失を提案する。
  論文  参考訳（メタデータ） (2022-08-26T15:45:20Z)
• An Empirical Study of Implicit Regularization in Deep Offline RL [44.62587507925864]
  3つのオフラインRLデータセットにおける有効ランクと性能の関係について検討する。 暗黙の正規化が学習力学に与える影響を説明する学習の3つの段階を同定する。
  論文  参考訳（メタデータ） (2022-07-05T15:07:31Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Deep Hierarchy in Bandits [51.22833900944146]
  行動の報酬は、しばしば相関する。 統計的効率を最大化するためには,これらの相関を学習に活用することが重要である。 平均作用報酬の相関が階層的ベイズモデルで表されるこの問題のバンディット変法を定式化する。
  論文  参考訳（メタデータ） (2022-02-03T08:15:53Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• SoftHebb: Bayesian inference in unsupervised Hebbian soft winner-take-all networks [1.125159338610819]
  入賞者全員(WTA)ネットワークにおけるヘビアン学習は、教師されず、フィードフォワードであり、生物学的に妥当である。 我々は、生物学的に可塑性だが汎用的なANN要素に基づいて、そのような理論を正式に導出する。 我々は実際に我々の理論を確認し、手書き桁(MNIST)認識において、ヘビアンアルゴリズムであるSoftHebbは、それにアクセスすることなくクロスエントロピーを最小化する。
  論文  参考訳（メタデータ） (2021-07-12T21:34:45Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
  ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。 ハイパーネットワークの適用において大きな困難は、安定性の欠如である。 最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
  論文  参考訳（メタデータ） (2020-02-01T16:44:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。