Fugu-MT 論文翻訳(概要): The training response law explains how deep neural networks learn

論文の概要: The training response law explains how deep neural networks learn

arxiv url: http://arxiv.org/abs/2204.07291v1
Date: Fri, 15 Apr 2022 02:06:18 GMT
ステータス: 処理完了
システム内更新日: 2022-04-18 12:55:29.770651
Title: The training response law explains how deep neural networks learn
Title（参考訳）: the training response lawはディープニューラルネットワークの学習方法を説明する
Authors: Kenichi Nakazato
Abstract要約: 非常に単純な教師付き学習符号化問題を用いて学習過程を研究する。我々は、ニューラルネットワークカーネルを記述するトレーニング応答において、単純な法則を発見した。この法則を用いて、ネットワークがどのように学習するかを説明する単純な平均場力学モデルを構築することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural network is the widely applied technology in this decade. In spite of the fruitful applications, the mechanism behind that is still to be elucidated. We study the learning process with a very simple supervised learning encoding problem. As a result, we found a simple law, in the training response, which describes neural tangent kernel. The response consists of a power law like decay multiplied by a simple response kernel. We can construct a simple mean-field dynamical model with the law, which explains how the network learns. In the learning, the input space is split into sub-spaces along competition between the kernels. With the iterated splits and the aging, the network gets more complexity, but finally loses its plasticity.
Abstract（参考訳）: ディープニューラルネットワークは、この10年で広く使われている技術だ。実りある応用にもかかわらず、そのメカニズムはまだ解明されていない。非常に単純な教師付き学習符号化問題を用いて学習過程を研究する。その結果,ニューラルネットワークカーネルを記述するトレーニング応答において,簡単な法則が得られた。応答は、単純な応答カーネルによって乗算された崩壊のようなパワー則からなる。法則で単純な平均場力学モデルを構築し、ネットワークがどのように学習するかを説明することができる。学習では、入力空間はカーネル間の競合に沿ってサブ空間に分割される。分割の繰り返しと老化により、ネットワークはより複雑になるが、最終的には可塑性を失う。

関連論文リスト

A simple theory for training response of deep neural networks [0.0]
ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
論文参考訳（メタデータ） (2024-05-07T07:20:15Z)
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks [7.4841568561701095]
ディープニューラルネットワークは、アカデミーや企業や公共のアプリケーションで広く使われている。アウトプットを説明する能力は、安全上の理由だけでなく、応募者の受け入れにも不可欠である。複素数値ニューラルネットワークでの使用に適した4つの勾配に基づく説明法を提案する。
論文参考訳（メタデータ） (2024-03-13T11:26:43Z)
A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文参考訳（メタデータ） (2023-07-27T17:46:17Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Completely Quantum Neural Networks [0.0]
一般的なニューラルネットワークを量子アニールに埋め込んでトレーニングする方法を解説する。本稿では,ネットワークの自由パラメータ,アクティベーション関数の近似,および2次高次成分を1つに還元する3つの重要な材料を開発する。我々はこれを基本的ネットワークに実装し、損失関数のグローバルな最小値を見つけるための一貫性と、ネットワークトレーニングが単一ステップで収束するという事実という量子トレーニングの利点を説明している。
論文参考訳（メタデータ） (2022-02-23T19:00:03Z)
Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。これは、サイレントアライメント(サイレントアライメント)という現象のためである。また、非白データは無声アライメント効果を弱めることを示した。
論文参考訳（メタデータ） (2021-10-29T18:22:46Z)
Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
論文参考訳（メタデータ） (2021-06-08T17:19:48Z)
Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文参考訳（メタデータ） (2021-02-22T14:09:20Z)
Extending Answer Set Programs with Neural Networks [2.512827436728378]
ニューラルネットワークを導入することで、応答セットプログラムをシンプルに拡張するNeurASPを提案する。我々は、NeurASPがトレーニング済みニューラルネットワークの知覚精度を向上できるだけでなく、論理ルールによる制約を与えることで、ニューラルネットワークをより良くトレーニングできることを示した。
論文参考訳（メタデータ） (2020-09-22T00:52:30Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。