論文の概要: Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation

• arxiv url: http://arxiv.org/abs/2303.03986v1
• Date: Sun, 5 Mar 2023 19:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 14:46:13.824894
• Title: Multiplexed gradient descent: Fast online training of modern datasets on hardware neural networks without backpropagation
• Title（参考訳）: multiplexedgradient descent: バックプロパゲーションのないハードウェアニューラルネットワーク上の現代的なデータセットの高速オンライントレーニング
• Authors: Adam N. McCaughan, Bakhrom G. Oripov, Natesh Ganesh, Sae Woo Nam, Andrew Dienstfrey, Sonia M. Buckley
• Abstract要約: ハードウェアにおけるアナログやデジタルニューラルネットワークの学習を容易にするための勾配降下フレームワークである多重勾配降下(MGD)を提案する。 MGDは、ゼロオーダー最適化技術を用いて、ハードウェアニューラルネットワークのオンライントレーニングを行っている。 我々は、CIFAR-10やFashion-MNISTなど、現代の機械学習データセット上でニューラルネットワークをトレーニングする能力を示す。
• 参考スコア（独自算出の注目度）: 0.13980986259786218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present multiplexed gradient descent (MGD), a gradient descent framework designed to easily train analog or digital neural networks in hardware. MGD utilizes zero-order optimization techniques for online training of hardware neural networks. We demonstrate its ability to train neural networks on modern machine learning datasets, including CIFAR-10 and Fashion-MNIST, and compare its performance to backpropagation. Assuming realistic timescales and hardware parameters, our results indicate that these optimization techniques can train a network on emerging hardware platforms orders of magnitude faster than the wall-clock time of training via backpropagation on a standard GPU, even in the presence of imperfect weight updates or device-to-device variations in the hardware. We additionally describe how it can be applied to existing hardware as part of chip-in-the-loop training, or integrated directly at the hardware level. Crucially, the MGD framework is highly flexible, and its gradient descent process can be optimized to compensate for specific hardware limitations such as slow parameter-update speeds or limited input bandwidth.
• Abstract（参考訳）: ハードウェアにおけるアナログやデジタルニューラルネットワークの学習を容易にするための勾配降下フレームワークである多重勾配降下(MGD)を提案する。 mgdはハードウェアニューラルネットワークのオンライントレーニングにゼロオーダー最適化技術を使用している。 我々は、CIFAR-10やFashion-MNISTを含む現代の機械学習データセット上でニューラルネットワークをトレーニングする能力を示し、その性能をバックプロパゲーションと比較する。 実際の時間スケールとハードウェアパラメータを仮定すると、これらの最適化技術は、標準gpu上のバックプロパゲーションによるトレーニングのウォールクロック時間よりも、ハードウェアの完全な重み付け更新やデバイス間のバリエーションがある場合でも、新たなハードウェアプラットフォーム上でネットワークをトレーニングできることを示している。 さらに,チップ・イン・ザ・ループ・トレーニングの一部として既存のハードウェアに適用するか,あるいはハードウェアレベルで直接統合するかについても述べる。 MGDフレームワークは非常に柔軟であり、パラメータ更新速度や入力帯域幅の制限といった特定のハードウェア制限を補償するために、その勾配降下処理を最適化することができる。

関連論文リスト

• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Neural Network Methods for Radiation Detectors and Imaging [1.6395318070400589]
  機械学習、特にディープニューラルネットワーク(DNN)の最近の進歩により、放射線検出器や撮像ハードウェアの新たな最適化と性能向上スキームが実現されている。 本稿では、光子源におけるデータ生成の概要、画像処理タスクのためのディープラーニングベースの方法、ディープラーニングアクセラレーションのためのハードウェアソリューションについて述べる。
  論文  参考訳（メタデータ） (2023-11-09T20:21:51Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Real-time Hyper-Dimensional Reconfiguration at the Edge using Hardware Accelerators [12.599871451119538]
  HyDRATEは、ディープニューラルネット(DNN)と超次元(HD)コンピューティングアクセラレータを組み合わせることで、エッジでリアルタイムな再構成を行うことができる。 本稿では,アルゴリズム,訓練された量子化モデル生成,および乗算累積のない特徴抽出器の性能について述べる。 降下勾配のバックプロパゲーションを伴わないフィードフォワードHD分類器のみをリトレーニングすることで、フィールドにおける再構成性を実現する。
  論文  参考訳（メタデータ） (2022-06-10T14:08:41Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• FTPipeHD: A Fault-Tolerant Pipeline-Parallel Distributed Training Framework for Heterogeneous Edge Devices [21.513786638743234]
  FTPipeHDは、異種デバイス間でディープラーニングモデルをトレーニングする新しいフレームワークである。 FTPipeHDは、最高のデバイスの計算能力が最悪のものより10倍大きい場合、アートメソッドの状態よりもトレーニングで6.8倍高速であることが示されている。
  論文  参考訳（メタデータ） (2021-10-06T14:00:22Z)
• Resistive Neural Hardware Accelerators [0.46198289193451136]
  ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。 本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
  論文  参考訳（メタデータ） (2021-09-08T21:11:48Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。