論文の概要: Wide Neural Networks Forget Less Catastrophically
- arxiv url: http://arxiv.org/abs/2110.11526v1
- Date: Thu, 21 Oct 2021 23:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 13:17:04.215931
- Title: Wide Neural Networks Forget Less Catastrophically
- Title(参考訳): 広義のニューラルネットワークは破滅的でない
- Authors: Seyed Iman Mirzadeh, Arslan Chaudhry, Huiyi Hu, Razvan Pascanu, Dilan
Gorur, Mehrdad Farajtabar
- Abstract要約: ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
- 参考スコア(独自算出の注目度): 39.907197907411266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A growing body of research in continual learning is devoted to overcoming the
"Catastrophic Forgetting" of neural networks by designing new algorithms that
are more robust to the distribution shifts. While the recent progress in
continual learning literature is encouraging, our understanding of what
properties of neural networks contribute to catastrophic forgetting is still
limited. To address this, instead of focusing on continual learning algorithms,
in this work, we focus on the model itself and study the impact of "width" of
the neural network architecture on catastrophic forgetting, and show that width
has a surprisingly significant effect on forgetting. To explain this effect, we
study the learning dynamics of the network from various perspectives such as
gradient norm and sparsity, orthogonalization, and lazy training regime. We
provide potential explanations that are consistent with the empirical results
across different architectures and continual learning benchmarks.
- Abstract(参考訳): 継続的学習における研究の活発化は、分散シフトに対してより堅牢な新しいアルゴリズムを設計することによって、ニューラルネットワークの「カタストロフィック・フォーミング」を克服することに集中している。
最近の連続学習文学の進歩は奨励されているが、ニューラルネットワークの性質が破滅的な記憶にどんな影響を与えるかを理解することは、まだ限られている。
そこで本研究では,連続学習アルゴリズムに焦点をあてるのではなく,モデル自体に注目し,ニューラルネットワークアーキテクチャの"幅"が破滅的な忘れ方に与える影響を考察し,その幅が忘れ方に対して驚くほど大きな影響を与えることを示す。
この効果を説明するために,勾配ノルムやスパーシティ,直交化,遅延トレーニングといった様々な観点から,ネットワークの学習ダイナミクスを考察する。
異なるアーキテクチャにわたる経験的結果と連続的な学習ベンチマークに一致した潜在的な説明を提供する。
関連論文リスト
- The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。
具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文 参考訳(メタデータ) (2023-07-18T18:48:54Z) - Deep Learning Meets Sparse Regularization: A Signal Processing
Perspective [17.12783792226575]
データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。
このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。
このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
論文 参考訳(メタデータ) (2023-01-23T17:16:21Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳(メタデータ) (2022-07-21T12:01:03Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - WeightScale: Interpreting Weight Change in Neural Networks [0.0]
本稿では,ニューラルネットワークの相対重み変化を層ごとの相対重み変化の測定によって解釈する手法を提案する。
我々はこの手法を用いて、様々な最先端ネットワークにおける視覚タスクの文脈における学習を調査する。
論文 参考訳(メタデータ) (2021-07-07T21:18:38Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-22T17:56:59Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。