論文の概要: Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2011.06220v3
• Date: Mon, 10 May 2021 12:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 07:26:15.301171
• Title: Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting
• Title（参考訳）: 深層学習のための人工的ニューラルバリアビリティ:オーバーフィッティング、ノイズ記憶、破滅的予測について
• Authors: Zeke Xie, Fengxiang He, Shaopeng Fu, Issei Sato, Dacheng Tao, and Masashi Sugiyama
• Abstract要約: 人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
• 参考スコア（独自算出の注目度）: 135.0863818867184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning is often criticized by two serious issues which rarely exist in natural nervous systems: overfitting and catastrophic forgetting. It can even memorize randomly labelled data, which has little knowledge behind the instance-label pairs. When a deep network continually learns over time by accommodating new tasks, it usually quickly overwrites the knowledge learned from previous tasks. Referred to as the {\it neural variability}, it is well-known in neuroscience that human brain reactions exhibit substantial variability even in response to the same stimulus. This mechanism balances accuracy and plasticity/flexibility in the motor learning of natural nervous systems. Thus it motivates us to design a similar mechanism named {\it artificial neural variability} (ANV), which helps artificial neural networks learn some advantages from ``natural'' neural networks. We rigorously prove that ANV plays as an implicit regularizer of the mutual information between the training data and the learned model. This result theoretically guarantees ANV a strictly improved generalizability, robustness to label noise, and robustness to catastrophic forgetting. We then devise a {\it neural variable risk minimization} (NVRM) framework and {\it neural variable optimizers} to achieve ANV for conventional network architectures in practice. The empirical studies demonstrate that NVRM can effectively relieve overfitting, label noise memorization, and catastrophic forgetting at negligible costs. \footnote{Code: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}.
• Abstract（参考訳）: 深層学習はしばしば、自然神経系にはほとんど存在しない2つの深刻な問題によって批判される。 ランダムにラベル付けされたデータを記憶することもでき、インスタンスとラベルのペアの背後にある知識はほとんどない。 ディープネットワークが新しいタスクを収容することで継続的に学習すると、通常、以前のタスクから学んだ知識を素早く上書きする。 神経学では、ヒトの脳反応が同じ刺激に反応してもかなりの変動を示すことが知られている。 このメカニズムは、自然神経系の運動学習における精度と可塑性と柔軟性のバランスをとる。 このようにして、ニューラルネットワークが ‘natural’ ニューラルネットワークからいくつかの利点を学ぶのに役立つ、同様のメカニズムである {\it artificial neural variability} (anv) をデザインする動機付けとなります。 我々は,avがトレーニングデータと学習モデル間の相互情報の暗黙の正規化として働くことを厳格に証明する。 この結果は理論上、ANVが厳格に改良された一般化可能性、ラベルノイズに対する堅牢性、破滅的な忘れ方に対する堅牢性を保証する。 次に、従来のネットワークアーキテクチャのANVを実現するために、NVRMフレームワークとNVRMフレームワークを考案した。 実験的な研究により、NVRMは過度な適合、ラベルのノイズの記憶、無視できるコストで破滅的な忘れを効果的に緩和できることが示された。 \footnote{Code: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Control of synaptic plasticity in neural networks [0.0]
  脳は非線形で高頻度のリカレントニューラルネットワーク(RNN)である 提案するフレームワークは,エラーフィードバックループシステムをシミュレートする新しいNNベースのアクタ批判手法を含む。
  論文  参考訳（メタデータ） (2023-03-10T13:36:31Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
  生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。 学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
  論文  参考訳（メタデータ） (2022-04-08T21:12:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Synaptic Metaplasticity in Binarized Neural Networks [4.243926243206826]
  ディープニューラルネットワークは、新しいタスクをトレーニングする際に破滅的なことを忘れがちだ。 本研究では,マルチタスクとストリーム学習の状況において,これまで提示したデータを必要としない破滅的な忘れを軽減させる訓練手法を提案する。 この研究は計算神経科学とディープラーニングを橋渡しし、将来の組み込みおよびニューロモルフィックシステムのための重要な資産を提示する。
  論文  参考訳（メタデータ） (2020-03-07T08:09:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。