論文の概要: Deep Learning in Target Space
- arxiv url: http://arxiv.org/abs/2006.01578v3
- Date: Thu, 9 Dec 2021 09:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 23:44:52.191075
- Title: Deep Learning in Target Space
- Title（参考訳）: ターゲット空間における深層学習
- Authors: Michael Fairbank, Spyridon Samothrakis and Luca Citi
- Abstract要約: 本稿では,ネットワーク内の個々のノードの発火強度を目標として,重みをパラメータ化することを提案する。
目標のセットが与えられた場合、射撃強度をそれらの目標に最もよく適合させる重量を計算することができる。
ターゲットをトレーニングに使うことは、カスケードアンハングリングと呼ばれるプロセスによって、爆発的な勾配の問題に対処する、と論じられている。
- 参考スコア（独自算出の注目度）: 3.3624573404522504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning uses neural networks which are parameterised by their weights.
The neural networks are usually trained by tuning the weights to directly
minimise a given loss function. In this paper we propose to re-parameterise the
weights into targets for the firing strengths of the individual nodes in the
network. Given a set of targets, it is possible to calculate the weights which
make the firing strengths best meet those targets. It is argued that using
targets for training addresses the problem of exploding gradients, by a process
which we call cascade untangling, and makes the loss-function surface smoother
to traverse, and so leads to easier, faster training, and also potentially
better generalisation, of the neural network. It also allows for easier
learning of deeper and recurrent network structures. The necessary conversion
of targets to weights comes at an extra computational expense, which is in many
cases manageable. Learning in target space can be combined with existing
neural-network optimisers, for extra gain. Experimental results show the speed
of using target space, and examples of improved generalisation, for
fully-connected networks and convolutional networks, and the ability to recall
and process long time sequences and perform natural-language processing with
recurrent networks.
- Abstract（参考訳）: ディープラーニングは、重みによってパラメータ化されるニューラルネットワークを使用する。
ニューラルネットワークは通常、与えられた損失関数を直接最小化するために重みをチューニングすることで訓練される。
本稿では,ネットワーク内の個々のノードの発火強度を目標に再パラメータ化することを提案する。
一組の目標が与えられると、その目標に最も適した射撃力を与える重みを計算することができる。
トレーニングにターゲットを使用することで、カスケードアンタングリングと呼ばれるプロセスによって、勾配の爆発の問題に対処し、損失関数表面をトラバースに滑らかにすることで、ニューラルネットワークの容易で高速なトレーニング、そして潜在的によりよい一般化につながる、と論じている。
また、より深い再帰的なネットワーク構造の学習を容易にする。
目標から重み付けへの必要な変換は余分な計算コストで行われ、多くの場合、管理可能である。
ターゲット空間での学習は、追加利益のために既存のニューラルネットワークオプティマイザと組み合わせることができる。
実験結果から,対象空間の利用速度,完全接続ネットワークや畳み込みネットワークの一般化向上例,長時間のシーケンスをリコール・処理し,再帰的なネットワークで自然言語処理を行う能力などが示された。
関連論文リスト
- Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳（メタデータ） (2022-10-31T16:13:15Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳（メタデータ） (2021-03-05T08:45:43Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Universality of Gradient Descent Neural Network Training [0.0]
ニューラルネットワークの再設計が常に可能であるかどうかを議論する。
この構造は実用的な計算を目的としていないが、メタラーニングと関連するアプローチの可能性についてある程度の方向性を提供する。
論文 参考訳（メタデータ） (2020-07-27T16:17:19Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。