論文の概要: Accelerating Training with Neuron Interaction and Nowcasting Networks
- arxiv url: http://arxiv.org/abs/2409.04434v1
- Date: Fri, 6 Sep 2024 17:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:05:01.191109
- Title: Accelerating Training with Neuron Interaction and Nowcasting Networks
- Title(参考訳): ニューロン相互作用とニューキャスティングネットワークによるトレーニングの高速化
- Authors: Boris Knyazev, Abhinav Moudgil, Guillaume Lajoie, Eugene Belilovsky, Simon Lacoste-Julien,
- Abstract要約: 学習可能な更新ルールは、トレーニングと使用に費用がかかり不安定です。
我々は、ニューロロン相互作用とニューノキャスティング(NiNo)ネットワークによるこのアプローチを改善した。
トランスフォーマーのような一部のネットワークでは、ニューロンの接続性は非自明である。
- 参考スコア(独自算出の注目度): 34.14695001650589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network training can be accelerated when a learnable update rule is used in lieu of classic adaptive optimizers (e.g. Adam). However, learnable update rules can be costly and unstable to train and use. A simpler recently proposed approach to accelerate training is to use Adam for most of the optimization steps and periodically, only every few steps, nowcast (predict future) parameters. We improve this approach by Neuron interaction and Nowcasting (NiNo) networks. NiNo leverages neuron connectivity and graph neural networks to more accurately nowcast parameters by learning in a supervised way from a set of training trajectories over multiple tasks. We show that in some networks, such as Transformers, neuron connectivity is non-trivial. By accurately modeling neuron connectivity, we allow NiNo to accelerate Adam training by up to 50\% in vision and language tasks.
- Abstract(参考訳): 古典的な適応オプティマイザ(例えばAdam)の代わりに学習可能な更新ルールを使用すると、ニューラルネットワークのトレーニングが加速される。
しかし、学習可能な更新ルールは、トレーニングや使用に費用がかかり不安定になる可能性がある。
トレーニングを加速するための、最近提案されたよりシンプルなアプローチは、最適化ステップの大部分にAdamを使用することであり、定期的に、いくつかのステップ、すなわち Nowcast(予測未来)パラメータのみを使用する。
我々は、ニューロロン相互作用とニューノキャスティング(NiNo)ネットワークによるこのアプローチを改善した。
NiNoはニューロン接続とグラフニューラルネットワークを活用して、複数のタスク上の一連のトレーニング軌跡から教師付き方法で学習することで、パラメータをより正確に検索する。
トランスフォーマーのような一部のネットワークでは、ニューロンの接続性は非自明である。
ニューロン接続を正確にモデル化することにより、NiNoは視力と言語タスクの最大50%のAdamトレーニングを加速できる。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳(メタデータ) (2022-11-10T08:32:13Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳(メタデータ) (2022-10-09T07:47:56Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Accelerating spiking neural network training [1.6114012813668934]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、脳内の活動電位にインスパイアされた人工ネットワークの一種である。
本稿では,全ての逐次計算を排除し,ベクトル化された演算にのみ依存する単一スパイク/ニューラルオンSNNを直接訓練する手法を提案する。
提案手法は, 従来のSNNと比較して, 95.68 %以上のスパイク数削減を達成し, ニューロモルフィックコンピュータ上でのエネルギー要求を著しく低減する。
論文 参考訳(メタデータ) (2022-05-30T17:48:14Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Self-adaptive deep neural network: Numerical approximation to functions
and PDEs [3.6525914200522656]
与えられたタスクに対して最適なディープニューラルネットワークを設計するための自己適応アルゴリズムを提案する。
ANE法は、フォームトレイン、推定、拡張のループとして記述される。
ANE法は, 急激な遷移層を示す関数を学習するために, ほぼ最小限のNNを自動設計できることを実証した。
論文 参考訳(メタデータ) (2021-09-07T03:16:57Z) - Sparse Meta Networks for Sequential Adaptation and its Application to
Adaptive Language Modelling [7.859988850911321]
Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。
層固有の高速メモリでディープニューラルネットワークを強化する。
様々な逐次適応シナリオにおいて高い性能を示す。
論文 参考訳(メタデータ) (2020-09-03T17:06:52Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Adaptive Reinforcement Learning through Evolving Self-Modifying Neural
Networks [0.0]
強化学習(RL)の現在の手法は、特定の時間間隔で反射した後にのみ新しい相互作用に適応する。
最近の研究は、バックプロパゲーションを用いて訓練された単純なRLタスクの性能を向上させるために、ニューラルネットワークに神経修飾塑性を付与することでこの問題に対処している。
ここでは,四足歩行におけるメタラーニングの課題について検討する。
その結果、自己修飾プラスチックネットワークを用いて進化したエージェントは、複雑なメタ学習タスクに適応し、グラデーションを使って更新された同じネットワークよりも優れていることが示される。
論文 参考訳(メタデータ) (2020-05-22T02:24:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。