論文の概要: Experimental demonstration of a robust training method for strongly defective neuromorphic hardware

• arxiv url: http://arxiv.org/abs/2312.06446v1
• Date: Mon, 11 Dec 2023 15:28:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 15:05:45.264368
• Title: Experimental demonstration of a robust training method for strongly defective neuromorphic hardware
• Title（参考訳）: 強欠陥型ニューロモルフィックハードウェアのためのロバストトレーニング法の実験的実証
• Authors: William A. Borders, Advait Madhavan, Matthew W. Daniels, Vasileia Georgiou, Martin Lueker-Boden, Tiffany S. Santos, Patrick M. Braganca, Mark D. Stiles, Jabez J. McClelland, and Brian D. Hoskins
• Abstract要約: 物理的にマッピングされたネットワークの少数の欠陥でさえ、欠陥のないトレーニングネットワークの性能を著しく低下させることを示す。 次に,ハードウェア・アウェア・トレーニングを統計的アウェア・トレーニングに拡張するロバスト・トレーニング手法を示す。
• 参考スコア（独自算出の注目度）: 0.9682994745050424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing scale of neural networks needed to support more complex applications has led to an increasing requirement for area- and energy-efficient hardware. One route to meeting the budget for these applications is to circumvent the von Neumann bottleneck by performing computation in or near memory. An inevitability of transferring neural networks onto hardware is that non-idealities such as device-to-device variations or poor device yield impact performance. Methods such as hardware-aware training, where substrate non-idealities are incorporated during network training, are one way to recover performance at the cost of solution generality. In this work, we demonstrate inference on hardware neural networks consisting of 20,000 magnetic tunnel junction arrays integrated on a complementary metal-oxide-semiconductor chips that closely resembles market-ready spin transfer-torque magnetoresistive random access memory technology. Using 36 dies, each containing a crossbar array with its own non-idealities, we show that even a small number of defects in physically mapped networks significantly degrades the performance of networks trained without defects and show that, at the cost of generality, hardware-aware training accounting for specific defects on each die can recover to comparable performance with ideal networks. We then demonstrate a robust training method that extends hardware-aware training to statistics-aware training, producing network weights that perform well on most defective dies regardless of their specific defect locations. When evaluated on the 36 physical dies, statistics-aware trained solutions can achieve a mean misclassification error on the MNIST dataset that differs from the software-baseline by only 2 %. This statistics-aware training method could be generalized to networks with many layers that are mapped to hardware suited for industry-ready applications.
• Abstract（参考訳）: より複雑なアプリケーションをサポートするために必要なニューラルネットワークの規模の増加は、面積とエネルギー効率のハードウェアに対する要求の増大につながった。 これらのアプリケーションの予算を満たす1つのルートは、メモリ内または周辺で計算を行うことでフォン・ノイマンのボトルネックを回避することである。 ニューラルネットワークをハードウェアに転送することの必然性は、デバイスからデバイスへのバリエーションやデバイスへの悪影響など、非イデオロギーが性能に与える影響である。 ネットワークトレーニングにおいて, 基板非イデオロギーを取り入れたハードウェア・アウェア・トレーニングのような手法は, 解法一般コストで性能を回復する一つの方法である。 本研究では,2万個の磁気トンネル接合アレイからなるハードウェアニューラルネットワークの推論を,市販のスピントランスポート・トーク磁気抵抗型ランダムアクセスメモリ技術によく似た相補的な金属酸化物半導体チップ上に実装した。 36個のダイを使用することで,物理的にマッピングされたネットワーク内の少数の欠陥であっても,障害のないトレーニングネットワークのパフォーマンスが著しく低下することを示すとともに,汎用性が損なわれることなく,各ダイの特定の欠陥を考慮に入れたハードウェアアウェアトレーニングが,理想的なネットワークと同等のパフォーマンスに回復することを示す。 次に,ハードウェア・アウェア・トレーニングを統計的アウェア・トレーニングに拡張し,ネットワーク重みを発生させる堅牢なトレーニング手法を示す。 36の物理ダイに対して評価すると、統計的に訓練されたソリューションは、ソフトウェアベースラインと異なるMNISTデータセットの平均的な誤分類誤差をわずか2%で達成できる。 この統計対応トレーニング方法は、業界対応アプリケーションに適したハードウェアにマッピングされた多数のレイヤを持つネットワークに一般化することができる。

関連論文リスト

• Layer Ensemble Averaging for Improving Memristor-Based Artificial Neural Network Performance [0.6560901506023631]
  memristorsのようなインメモリの計算アーキテクチャは、ハードウェアの非理想性によって、将来性はあるが課題に直面している。 レイヤアンサンブル平均化は、事前学習されたニューラルネットワークソリューションをソフトウェアから欠陥のあるハードウェアクロスバーにマッピングするテクニックである。 その結果、レイヤアンサンブル平均化は、ソフトウェアベースラインまで、欠陥のあるメモリネットワーク性能を確実に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T03:19:31Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• Synaptic metaplasticity with multi-level memristive devices [1.5598974049838272]
  推論とトレーニングの両方において,メタ塑性を実現するためのメムリスタベースのハードウェアソリューションを提案する。 MNISTとFashion-MNISTの連続トレーニングにおいて,2層パーセプトロンの精度は97%,86%であった。 我々のアーキテクチャは、mmristorの制限された耐久性と互換性があり、メモリは15倍削減されている。
  論文  参考訳（メタデータ） (2023-06-21T09:40:25Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Implementation of a Binary Neural Network on a Passive Array of Magnetic Tunnel Junctions [2.917306244908168]
  我々は、MTJの受動配列に基づくニューラルネットワークハードウェア推論を実証するために、MTJの低消費電力と本質的に二元的動作を利用する。 デバイスサイズが広い15 x 15 MTJアレイにおいて,ネットワークパラメータを適切に調整することで,ソフトウェア等価精度を最大95.3 %まで向上する。
  論文  参考訳（メタデータ） (2021-12-16T19:11:29Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
  機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。 デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。 半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。 計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
  論文  参考訳（メタデータ） (2020-11-30T22:19:44Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Benchmarking Deep Spiking Neural Networks on Neuromorphic Hardware [0.0]
  我々は、トレーニング済みの非スパイクをスパイクニューラルネットワークに変換する手法を用いて、性能損失を評価し、インジェクション当たりのエネルギを測定する。 変換損失は、通常、デジタル実装では1%以下であり、アナログシステムでは、より少ないエネルギー/推論コストの利点により、適度に高いことが示される。
  論文  参考訳（メタデータ） (2020-04-03T16:25:49Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。