論文の概要: Dopant Network Processing Units: Towards Efficient Neural-network Emulators with High-capacity Nanoelectronic Nodes

• arxiv url: http://arxiv.org/abs/2007.12371v2
• Date: Tue, 3 Aug 2021 10:03:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 05:47:04.098430
• Title: Dopant Network Processing Units: Towards Efficient Neural-network Emulators with High-capacity Nanoelectronic Nodes
• Title（参考訳）: ドーパントネットワーク処理ユニット:高容量ナノエレクトロニクスノードを用いた高効率ニューラルネットワークエミュレータを目指して
• Authors: Hans-Christian Ruiz-Euler, Unai Alegre-Ibarra, Bram van de Ven, Hajo Broersma, Peter A. Bobbert, Wilfred G. van der Wiel
• Abstract要約: DNPU(Dopant Network Processing Units)はエネルギー効率が高く,スループットも高い可能性がある。 我々は、DNPUを高容量ニューロンとして導入し、単一ニューロンからマルチニューロンフレームワークに移行する。 フィードフォワードDNPUネットワークは,1つのDNPUの性能を77%から94%に向上することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapidly growing computational demands of deep neural networks require novel hardware designs. Recently, tunable nanoelectronic devices were developed based on hopping electrons through a network of dopant atoms in silicon. These "Dopant Network Processing Units" (DNPUs) are highly energy-efficient and have potentially very high throughput. By adapting the control voltages applied to its terminals, a single DNPU can solve a variety of linearly non-separable classification problems. However, using a single device has limitations due to the implicit single-node architecture. This paper presents a promising novel approach to neural information processing by introducing DNPUs as high-capacity neurons and moving from a single to a multi-neuron framework. By implementing and testing a small multi-DNPU classifier in hardware, we show that feed-forward DNPU networks improve the performance of a single DNPU from 77% to 94% test accuracy on a binary classification task with concentric classes on a plane. Furthermore, motivated by the integration of DNPUs with memristor arrays, we study the potential of using DNPUs in combination with linear layers. We show by simulation that a single-layer MNIST classifier with only 10 DNPUs achieves over 96% test accuracy. Our results pave the road towards hardware neural-network emulators that offer atomic-scale information processing with low latency and energy consumption.
• Abstract（参考訳）: ディープニューラルネットワークの急速な計算要求は、新しいハードウェア設計を必要とする。 近年、シリコン中のドーパント原子のネットワークを介してホッピング電子をベースとした可変ナノエレクトロニクスデバイスが開発された。 これらの "Dopant Network Processing Units" (DNPU) はエネルギー効率が高く,スループットも高い可能性がある。 端末に印加される制御電圧を適用することで、単一のDNPUは様々な線形非分離型分類問題を解くことができる。 しかし、単一デバイスを使用することには、暗黙の単一ノードアーキテクチャによる制限がある。 本稿では,dnpusを高容量ニューロンとして導入し,単一ニューロンからマルチニューロンフレームワークへ移行することにより,神経情報処理に有望な新しいアプローチを提案する。 小型のマルチDNPU分類器をハードウェアで実装, テストすることにより, フィードフォワードDNPUネットワークは, 平面上の同心類を持つ2進分類タスクにおいて, 単DNPUの性能を77%から94%向上することを示した。 さらに,DNPUとmemristor配列の統合を動機として,DNPUと線形層の組み合わせの可能性を検討した。 シミュレーションにより,10dnpusの単層mnist分類器では96%以上の精度が得られた。 その結果、低レイテンシとエネルギー消費を伴う原子規模の情報処理を提供するハードウェアニューラルネットワークエミュレータへの道のりが開けた。

関連論文リスト

• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [3.1999570171901786]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は、既知の遅延クリティカルタスク、ジェットサブストラクチャタグ、古典的コンピュータビジョンタスク、MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Low Precision Quantization-aware Training in Spiking Neural Networks with Differentiable Quantization Function [0.5046831208137847]
  この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。 これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。 提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-05-30T09:42:05Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Signal Detection in MIMO Systems with Hardware Imperfections: Message Passing on Neural Networks [101.59367762974371]
  本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。 パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。 我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
  論文  参考訳（メタデータ） (2022-10-08T04:32:58Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• In-Hardware Learning of Multilayer Spiking Neural Networks on a Neuromorphic Processor [6.816315761266531]
  この研究は、生物学的に妥当な局所更新規則を持つスパイクベースのバックプロパゲーションアルゴリズムを示し、ニューロモルフィックハードウェアの制約に適合するように適応する。 このアルゴリズムはIntel Loihiチップ上に実装されており、モバイルアプリケーション用の多層SNNの低消費電力ハードウェアによるオンライン学習を可能にする。
  論文  参考訳（メタデータ） (2021-05-08T09:22:21Z)
• LogicNets: Co-Designed Neural Networks and Circuits for Extreme-Throughput Applications [6.9276012494882835]
  本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。 その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
  論文  参考訳（メタデータ） (2020-04-06T22:15:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。