論文の概要: Layer Ensemble Averaging for Improving Memristor-Based Artificial Neural Network Performance

• arxiv url: http://arxiv.org/abs/2404.15621v1
• Date: Wed, 24 Apr 2024 03:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 14:43:50.815340
• Title: Layer Ensemble Averaging for Improving Memristor-Based Artificial Neural Network Performance
• Title（参考訳）: メムリスタに基づくニューラルネットワーク性能向上のためのレイヤアンサンブル平均化
• Authors: Osama Yousuf, Brian Hoskins, Karthick Ramu, Mitchell Fream, William A. Borders, Advait Madhavan, Matthew W. Daniels, Andrew Dienstfrey, Jabez J. McClelland, Martin Lueker-Boden, Gina C. Adam,
• Abstract要約: memristorsのようなインメモリの計算アーキテクチャは、ハードウェアの非理想性によって、将来性はあるが課題に直面している。 レイヤアンサンブル平均化は、事前学習されたニューラルネットワークソリューションをソフトウェアから欠陥のあるハードウェアクロスバーにマッピングするテクニックである。 その結果、レイヤアンサンブル平均化は、ソフトウェアベースラインまで、欠陥のあるメモリネットワーク性能を確実に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 0.6560901506023631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks have advanced due to scaling dimensions, but conventional computing faces inefficiency due to the von Neumann bottleneck. In-memory computation architectures, like memristors, offer promise but face challenges due to hardware non-idealities. This work proposes and experimentally demonstrates layer ensemble averaging, a technique to map pre-trained neural network solutions from software to defective hardware crossbars of emerging memory devices and reliably attain near-software performance on inference. The approach is investigated using a custom 20,000-device hardware prototyping platform on a continual learning problem where a network must learn new tasks without catastrophically forgetting previously learned information. Results demonstrate that by trading off the number of devices required for layer mapping, layer ensemble averaging can reliably boost defective memristive network performance up to the software baseline. For the investigated problem, the average multi-task classification accuracy improves from 61 % to 72 % (< 1 % of software baseline) using the proposed approach.
• Abstract（参考訳）: 人工ニューラルネットワークは、スケーリング次元によって進歩してきたが、フォン・ノイマンのボトルネックにより、従来の計算は非効率に直面する。 memristorsのようなインメモリの計算アーキテクチャは、ハードウェアの非理想性によって、将来性はあるが課題に直面している。 この研究は、ソフトウェアから新興メモリデバイスの欠陥ハードウェアクロスバーに事前学習されたニューラルネットワークソリューションをマッピングし、推論でほぼソフトウェアに近い性能を確実に達成する手法であるレイヤアンサンブル平均化を提案し、実験的に実証する。 この手法は、ネットワークが学習した情報を破滅的に忘れることなく新しいタスクを学習しなければならない連続学習問題に対して、カスタム2万台のハードウェアプロトタイピングプラットフォームを用いて検討する。 その結果、レイヤマッピングに必要なデバイス数を交換することで、レイヤアンサンブル平均化は、ソフトウェアベースラインに欠陥のあるメモリネットワーク性能を確実に向上させることができることがわかった。 本研究では,提案手法を用いて,平均マルチタスク分類精度を61 %から72 %(ソフトウェアベースラインの1 %)に改善する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Measurement-driven neural-network training for integrated magnetic tunnel junction arrays [0.9682994745050424]
  物理的にマッピングされたネットワークの少数の欠陥でさえ、欠陥のないトレーニングネットワークの性能を著しく低下させることを示す。 次に,ハードウェア・アウェア・トレーニングを統計的アウェア・トレーニングに拡張するロバスト・トレーニング手法を示す。
  論文  参考訳（メタデータ） (2023-12-11T15:28:47Z)
• Synaptic metaplasticity with multi-level memristive devices [1.5598974049838272]
  推論とトレーニングの両方において,メタ塑性を実現するためのメムリスタベースのハードウェアソリューションを提案する。 MNISTとFashion-MNISTの連続トレーニングにおいて,2層パーセプトロンの精度は97%,86%であった。 我々のアーキテクチャは、mmristorの制限された耐久性と互換性があり、メモリは15倍削減されている。
  論文  参考訳（メタデータ） (2023-06-21T09:40:25Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
  機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。 デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。 半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。 計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
  論文  参考訳（メタデータ） (2020-11-30T22:19:44Z)
• ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks [63.91384986073851]
  オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。 ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
  論文  参考訳（メタデータ） (2020-07-27T09:01:22Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。