Fugu-MT 論文翻訳(概要): Learning with Local Gradients at the Edge

論文の概要: Learning with Local Gradients at the Edge

arxiv url: http://arxiv.org/abs/2208.08503v1
Date: Wed, 17 Aug 2022 19:51:06 GMT
ステータス: 処理完了
システム内更新日: 2022-08-19 13:04:02.425601
Title: Learning with Local Gradients at the Edge
Title（参考訳）: エッジでの局所勾配による学習
Authors: Michael Lomnitz, Zachary Daniels, David Zhang, Michael Piacentino
Abstract要約: 我々は、Target Projection Gradient Descent (tpSGD) と呼ばれる新しいバックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために、直接ランダムターゲット射影を一般化する。我々は、深層ニューラルネットワークのトレーニングにおけるtpSGDの性能を評価し、マルチ層RNNへのアプローチを拡張した。
参考スコア（独自算出の注目度）: 14.94491070863641
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: To enable learning on edge devices with fast convergence and low memory, we present a novel backpropagation-free optimization algorithm dubbed Target Projection Stochastic Gradient Descent (tpSGD). tpSGD generalizes direct random target projection to work with arbitrary loss functions and extends target projection for training recurrent neural networks (RNNs) in addition to feedforward networks. tpSGD uses layer-wise stochastic gradient descent (SGD) and local targets generated via random projections of the labels to train the network layer-by-layer with only forward passes. tpSGD doesn't require retaining gradients during optimization, greatly reducing memory allocation compared to SGD backpropagation (BP) methods that require multiple instances of the entire neural network weights, input/output, and intermediate results. Our method performs comparably to BP gradient-descent within 5% accuracy on relatively shallow networks of fully connected layers, convolutional layers, and recurrent layers. tpSGD also outperforms other state-of-the-art gradient-free algorithms in shallow models consisting of multi-layer perceptrons, convolutional neural networks (CNNs), and RNNs with competitive accuracy and less memory and time. We evaluate the performance of tpSGD in training deep neural networks (e.g. VGG) and extend the approach to multi-layer RNNs. These experiments highlight new research directions related to optimized layer-based adaptor training for domain-shift using tpSGD at the edge.
Abstract（参考訳）: 高速収束と低メモリでエッジデバイス上での学習を可能にするため,Target Projection Stochastic Gradient Descent (tpSGD)と呼ばれる,バックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために直接ランダムなターゲットプロジェクションを一般化し、フィードフォワードネットワークに加えて、リカレントニューラルネットワーク(RNN)をトレーニングするためのターゲットプロジェクションを拡張する。 tpSGDは、層幅確率勾配勾配(SGD)とラベルのランダムなプロジェクションによって生成された局所目標を用いて、フォワードパスのみでネットワーク層をトレーニングする。 tpsgdは最適化中に勾配を保持する必要はなく、ニューラルネットワーク全体の重み、入出力、中間結果の複数のインスタンスを必要とするsgdバックプロパゲーション(bp)メソッドと比較して、メモリ割り当てを大幅に削減する。提案手法は, 完全連結層, 畳み込み層, 再帰層からなる比較的浅いネットワーク上で, 5%の精度でBP勾配に適合する。 tpSGDは、多層パーセプトロン、畳み込みニューラルネットワーク(CNN)、RNNからなる浅層モデルにおいて、競合精度とメモリと時間の削減により、他の最先端の勾配のないアルゴリズムよりも優れている。深層ニューラルネットワーク(例えばVGG)のトレーニングにおけるtpSGDの性能を評価し,そのアプローチを多層RNNに拡張する。これらの実験は、エッジにおけるtpSGDを用いたドメインシフトのための最適化層ベースのアダプタトレーニングに関連する新しい研究方向を強調した。

関連論文リスト

Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
論文参考訳（メタデータ） (2023-05-23T04:12:55Z)
Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
論文参考訳（メタデータ） (2023-04-26T05:02:41Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文参考訳（メタデータ） (2022-10-12T16:39:46Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Selfish Sparse RNN Training [13.165729746380816]
本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
論文参考訳（メタデータ） (2021-01-22T10:45:40Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文参考訳（メタデータ） (2020-03-30T17:59:18Z)
Semi-Implicit Back Propagation [1.5533842336139065]
ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
論文参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。