論文の概要: Multirate Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2106.10771v1
• Date: Sun, 20 Jun 2021 22:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:52:25.784960
• Title: Multirate Training of Neural Networks
• Title（参考訳）: ニューラルネットワークのマルチレートトレーニング
• Authors: Tiffany Vlaar and Benedict Leimkuhler
• Abstract要約: 視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose multirate training of neural networks: partitioning neural network parameters into "fast" and "slow" parts which are trained simultaneously using different learning rates. By choosing appropriate partitionings we can obtain large computational speed-ups for transfer learning tasks. We show that for various transfer learning applications in vision and NLP we can fine-tune deep neural networks in almost half the time, without reducing the generalization performance of the resulting model. We also discuss other splitting choices for the neural network parameters which are beneficial in enhancing generalization performance in settings where neural networks are trained from scratch. Finally, we propose an additional multirate technique which can learn different features present in the data by training the full network on different time scales simultaneously. The benefits of using this approach are illustrated for ResNet architectures on image data. Our paper unlocks the potential of using multirate techniques for neural network training and provides many starting points for future work in this area.
• Abstract（参考訳）: ニューラルネットワークパラメータを「高速」と「スロー」に分割し、異なる学習率で同時にトレーニングするニューラルネットワークのマルチレートトレーニングを提案する。 適切な分割を選択することで、転送学習タスクのための大きな計算スピードアップを得ることができる。 視覚およびNLPにおける様々な伝達学習アプリケーションに対して、結果の一般化性能を低下させることなく、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 また、ニューラルネットワークをスクラッチからトレーニングする環境での一般化性能を高めるのに役立つ、ニューラルネットワークパラメータの他の分割選択についても論じる。 最後に,異なる時間スケールで全ネットワークをトレーニングすることにより,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。 このアプローチの利点は、イメージデータ上のResNetアーキテクチャに説明されている。 本稿は,ニューラルネットワークのトレーニングにマルチレート技術を使うことの可能性を解き明かし,この分野における今後の作業に多くの出発点を提供する。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Taming Binarized Neural Networks and Mixed-Integer Programs [2.7624021966289596]
  バイナライズされたニューラルネットワークはテーム表現を許容することを示す。 これにより、Bolte et al. のフレームワークを暗黙の微分に使用できる。 このアプローチは、より広範な混合整数プログラムのクラスにも使用することができる。
  論文  参考訳（メタデータ） (2023-10-05T21:04:16Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Accelerate Model Parallel Training by Using Efficient Graph Traversal Order in Device Placement [1.577134752543077]
  現代のニューラルネットワークは、大量のデータセット上で十分なパフォーマンスを得るために、長いトレーニングを必要とする。 トレーニングをスピードアップする一般的なアプローチのひとつは、大規模なニューラルネットワークを複数のデバイスに分割する、モデル並列化だ。 既存のデバイス配置ソリューションのほとんどは、問題をシーケンシャルな意思決定として扱う。
  論文  参考訳（メタデータ） (2022-01-21T09:27:48Z)
• Feature Alignment for Approximated Reversibility in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける近似可逆性を得る手法である特徴アライメントを導入する。 ニューラルネットワークをローカルにトレーニングし、計算メモリリソースを節約するために、このテクニックを修正できることが示される。
  論文  参考訳（メタデータ） (2021-06-23T17:42:47Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。