論文の概要: Gradient-Free Neural Network Training on the Edge

• arxiv url: http://arxiv.org/abs/2410.09734v1
• Date: Sun, 13 Oct 2024 05:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 05:12:47.679939
• Title: Gradient-Free Neural Network Training on the Edge
• Title（参考訳）: エッジ上のグラディエントフリーニューラルネットワークトレーニング
• Authors: Dotan Di Castro, Omkar Joglekar, Shir Kozlovsky, Vladimir Tchuiev, Michal Moshkovitz,
• Abstract要約: ニューラルネットワークのトレーニングは計算的に重く、エネルギー集約的である。 この研究は、勾配を必要とせずにニューラルネットワークをトレーニングするための新しいテクニックを提示している。 本研究では,各ニューロンの予測された分類に対する誤った寄与を同定することにより,勾配に基づく最適化手法を使わずにモデルを訓練することが可能であることを示す。
• 参考スコア（独自算出の注目度）: 12.472204825917629
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training neural networks is computationally heavy and energy-intensive. Many methodologies were developed to save computational requirements and energy by reducing the precision of network weights at inference time and introducing techniques such as rounding, stochastic rounding, and quantization. However, most of these techniques still require full gradient precision at training time, which makes training such models prohibitive on edge devices. This work presents a novel technique for training neural networks without needing gradients. This enables a training process where all the weights are one or two bits, without any hidden full precision computations. We show that it is possible to train models without gradient-based optimization techniques by identifying erroneous contributions of each neuron towards the expected classification and flipping the relevant bits using logical operations. We tested our method on several standard datasets and achieved performance comparable to corresponding gradient-based baselines with a fraction of the compute power.
• Abstract（参考訳）: ニューラルネットワークのトレーニングは計算的に重く、エネルギー集約的である。 推論時のネットワーク重みの精度を低減し、ラウンドリング、確率的ラウンドリング、量子化などの技術を導入することにより、計算要求とエネルギーを節約するために多くの手法が開発された。 しかし、これらの技術の多くはトレーニング時に完全な勾配精度を必要とするため、エッジデバイス上でのトレーニングを禁止している。 この研究は、勾配を必要とせずにニューラルネットワークをトレーニングするための新しいテクニックを提示している。 これにより、すべての重みが1ビットか2ビットで、隠れた完全精度の計算が不要なトレーニングプロセスが可能になる。 本研究では,各ニューロンの予測された分類に対する誤った寄与を同定し,論理演算を用いて関連するビットを反転させることにより,勾配に基づく最適化手法を使わずにモデルを訓練できることを述べる。 提案手法をいくつかの標準データセットで検証し,計算能力のごく一部で対応する勾配ベースラインに匹敵する性能を達成した。

関連論文リスト

• Approximation and Gradient Descent Training with Neural Networks [0.0]
  最近の研究は、ニューラル・タンジェント・カーネル(NTK)最適化の議論を過度にパラメータ化された状態に拡張している。 本稿では,勾配降下法により学習したネットワークの類似性を示す。
  論文  参考訳（メタデータ） (2024-05-19T23:04:09Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Combinatorial optimization for low bit-width neural networks [23.466606660363016]
  低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。 既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。 グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-04T15:02:36Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Universality of Gradient Descent Neural Network Training [0.0]
  ニューラルネットワークの再設計が常に可能であるかどうかを議論する。 この構造は実用的な計算を目的としていないが、メタラーニングと関連するアプローチの可能性についてある程度の方向性を提供する。
  論文  参考訳（メタデータ） (2020-07-27T16:17:19Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。