論文の概要: Dropout as an Implicit Gating Mechanism For Continual Learning

• arxiv url: http://arxiv.org/abs/2004.11545v1
• Date: Fri, 24 Apr 2020 06:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:41:50.634828
• Title: Dropout as an Implicit Gating Mechanism For Continual Learning
• Title（参考訳）: 連続学習のための暗黙のゲーティングメカニズムとしてのドロップアウト
• Authors: Seyed-Iman Mirzadeh, Mehrdad Farajtabar, Hassan Ghasemzadeh
• Abstract要約: ドロップアウトのある安定したネットワークは、異なるタスクに対して、ネットワークの異なるパスがアクティブになるようなゲーティングメカニズムを学習することを示す。 我々の実験は、この暗黙のゲーティングによって達成される安定性が、他の関連する学習アルゴリズムに匹敵するパフォーマンスをもたらす上で、非常に重要な役割を担っていることを示している。
• 参考スコア（独自算出の注目度）: 40.97952040864335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, neural networks have demonstrated an outstanding ability to achieve complex learning tasks across various domains. However, they suffer from the "catastrophic forgetting" problem when they face a sequence of learning tasks, where they forget the old ones as they learn new tasks. This problem is also highly related to the "stability-plasticity dilemma". The more plastic the network, the easier it can learn new tasks, but the faster it also forgets previous ones. Conversely, a stable network cannot learn new tasks as fast as a very plastic network. However, it is more reliable to preserve the knowledge it has learned from the previous tasks. Several solutions have been proposed to overcome the forgetting problem by making the neural network parameters more stable, and some of them have mentioned the significance of dropout in continual learning. However, their relationship has not been sufficiently studied yet. In this paper, we investigate this relationship and show that a stable network with dropout learns a gating mechanism such that for different tasks, different paths of the network are active. Our experiments show that the stability achieved by this implicit gating plays a very critical role in leading to performance comparable to or better than other involved continual learning algorithms to overcome catastrophic forgetting.
• Abstract（参考訳）: 近年、ニューラルネットワークは様々な領域にわたる複雑な学習タスクを実現する優れた能力を示している。 しかし、彼らは一連の学習タスクに直面して、新しいタスクを学ぶときに古いタスクを忘れてしまう場合、"破滅的な忘れる"問題に苦しむ。 この問題は「安定性・塑性ジレンマ」とも関係している。 ネットワークのプラスティック化が進むほど、新しいタスクを学習しやすくなるが、それ以前のタスクも忘れてしまう。 逆に、安定したネットワークは、非常にプラスティックなネットワークほど速く新しいタスクを学習することはできない。 しかし、前回のタスクから学んだ知識を保存しておく方がより信頼性が高い。 ニューラルネットワークパラメータをより安定させることで、忘れる問題を克服するために、いくつかのソリューションが提案されている。 しかし、その関係はまだ十分に研究されていない。 本稿では,この関係を調査し,ドロップアウトのある安定したネットワークが,異なるタスクにおいてネットワークの異なる経路がアクティブとなるようなゲーティング機構を学習することを示す。 我々の実験は、この暗黙のゲーティングによって達成される安定性が、破滅的な忘れを克服するために、他の関連する継続的な学習アルゴリズムに匹敵するパフォーマンスをもたらす上で、非常に重要な役割を担っていることを示している。

関連論文リスト

• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Towards continual task learning in artificial neural networks: current approaches and insights from neuroscience [0.0]
  人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。 人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
  論文  参考訳（メタデータ） (2021-12-28T13:50:51Z)
• Efficient and robust multi-task learning in the brain with modular task primitives [2.6166087473624318]
  タスクプリミティブを具備したモジュールネットワークは,パラメータ数と更新率を低く保ちながら,複数のタスクを適切に学習することができることを示す。 また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-05-28T21:07:54Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)
• Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
  我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-09-27T01:28:10Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。