論文の概要: Low-Rank Training of Deep Neural Networks for Emerging Memory Technology

• arxiv url: http://arxiv.org/abs/2009.03887v2
• Date: Thu, 15 Jul 2021 03:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 20:44:56.211363
• Title: Low-Rank Training of Deep Neural Networks for Emerging Memory Technology
• Title（参考訳）: 新興記憶技術のための深層ニューラルネットワークの低ランク学習
• Authors: Albert Gural, Phillip Nadeau, Mehul Tikekar, Boris Murmann
• Abstract要約: 非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。 計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
• 参考スコア（独自算出の注目度）: 4.456122555367167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent success of neural networks for solving difficult decision tasks has incentivized incorporating smart decision making "at the edge." However, this work has traditionally focused on neural network inference, rather than training, due to memory and compute limitations, especially in emerging non-volatile memory systems, where writes are energetically costly and reduce lifespan. Yet, the ability to train at the edge is becoming increasingly important as it enables real-time adaptability to device drift and environmental variation, user customization, and federated learning across devices. In this work, we address two key challenges for training on edge devices with non-volatile memory: low write density and low auxiliary memory. We present a low-rank training scheme that addresses these challenges while maintaining computational efficiency. We then demonstrate the technique on a representative convolutional neural network across several adaptation problems, where it out-performs standard SGD both in accuracy and in number of weight writes.
• Abstract（参考訳）: 難しい意思決定タスクを解決するニューラルネットワークの成功は、スマートな意思決定を“エッジ”に取り入れることにインセンティブを与えている。 しかし、この研究は伝統的にトレーニングではなくニューラルネットワークの推論にフォーカスしており、特に書き込みがエネルギー的にコストがかかり、寿命が短くなるような、新しい不揮発性メモリシステムにおいて、メモリと計算の制限のためである。 しかし、デバイスドリフトと環境変動へのリアルタイム適応性、ユーザのカスタマイズ、デバイス間のフェデレーション学習を可能にするため、エッジでのトレーニング能力はますます重要になっている。 本研究では,不揮発性メモリを持つエッジデバイス上でのトレーニングにおいて,書き込み密度の低下と補助メモリの低下という2つの課題に対処する。 計算効率を維持しながらこれらの課題に対処する低ランクなトレーニング手法を提案する。 次に,複数の適応問題にまたがる代表畳み込みニューラルネットワークを用いて,sgdの精度と重み付け数の両方において,標準sgdよりも優れる手法を示す。

関連論文リスト

• DASH: Warm-Starting Neural Network Training in Stationary Settings without Loss of Plasticity [11.624569521079426]
  我々は,実世界のニューラルネットワークトレーニングを模擬したフレームワークを開発し,静止データ上での暖房開始時の可塑性損失の主な原因としてノイズ記憶を同定する。 そこで本研究では,学習した特徴を保ちながら雑音を選択的に忘れることによって可塑性損失を軽減することを目的としたDASH(Direction-Aware SHrinking)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T22:57:54Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
  連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。 具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
  論文  参考訳（メタデータ） (2024-01-18T11:57:05Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。