論文の概要: Efficient Training Convolutional Neural Networks on Edge Devices with
Gradient-pruned Sign-symmetric Feedback Alignment
- arxiv url: http://arxiv.org/abs/2103.02889v1
- Date: Thu, 4 Mar 2021 08:23:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 09:46:56.176944
- Title: Efficient Training Convolutional Neural Networks on Edge Devices with
Gradient-pruned Sign-symmetric Feedback Alignment
- Title(参考訳): 信号対称フィードバックアライメントを有するエッジデバイス上での効率的な学習畳み込みニューラルネットワーク
- Authors: Ziyang Hong and C. Patrick Yue
- Abstract要約: 本稿では,従来のバックプロパゲーションの冗長性と重み非対称性ポテンシャルを利用したDNNのトレーニング手法について述べる。
提案手法は, 分類精度の損失が無視できるほど, エネルギー効率の面では, 先行技術よりも5倍高いことを実証する。
- 参考スコア(独自算出の注目度): 1.2183405753834562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the prosperity of mobile devices, the distributed learning approach
enabling model training with decentralized data has attracted wide research.
However, the lack of training capability for edge devices significantly limits
the energy efficiency of distributed learning in real life. This paper
describes a novel approach of training DNNs exploiting the redundancy and the
weight asymmetry potential of conventional backpropagation. We demonstrate that
with negligible classification accuracy loss, the proposed approach outperforms
the prior arts by 5x in terms of energy efficiency.
- Abstract(参考訳): モバイルデバイスの繁栄に伴い、分散データによるモデルトレーニングを可能にする分散学習アプローチが広く研究されている。
しかし,エッジデバイスにおける学習能力の欠如は,実生活における分散学習のエネルギー効率を著しく低下させる。
本稿では,従来のバックプロパゲーションの冗長性と重み非対称性ポテンシャルを利用したDNNのトレーニング手法について述べる。
提案手法は, 分類精度の損失が無視できるほど, エネルギー効率の面では, 先行技術よりも5倍高いことを実証する。
関連論文リスト
- Learning Interpretable Deep Disentangled Neural Networks for
Hyperspectral Unmixing [16.02193274044797]
非線形性および終端変動を考慮した高スペクトルアンミックスのための新しい解釈可能な深層学習法を提案する。
モデルは、バックプロパゲーションを使用してエンドツーエンドに学習され、セルフ教師付き戦略を使用してトレーニングされる。
合成および実データを用いた実験結果から,提案手法の性能が示唆された。
論文 参考訳(メタデータ) (2023-10-03T18:21:37Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳(メタデータ) (2022-01-31T17:41:36Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳(メタデータ) (2021-08-03T19:24:25Z) - Understanding and Improvement of Adversarial Training for Network
Embedding from an Optimization Perspective [31.312873512603808]
Network Embeddingは、ノードをユークリッド空間にマッピングする関数を学習することを目的としており、ネットワーク上の複数の学習分析タスクに寄与する。
これらの問題に対処するために、研究者はAdvTNE(Adversarial Training for Network Embedding)を用いて最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-05-17T16:41:53Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳(メタデータ) (2021-01-31T22:48:50Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳(メタデータ) (2020-08-24T13:23:02Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-07-17T15:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。