論文の概要: Deep Learning in Memristive Nanowire Networks
- arxiv url: http://arxiv.org/abs/2003.02642v1
- Date: Tue, 3 Mar 2020 20:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 22:53:45.962351
- Title: Deep Learning in Memristive Nanowire Networks
- Title（参考訳）: ナノワイヤネットワークにおける深層学習
- Authors: Jack D. Kendall, Ross D. Pantone, and Juan C. Nino
- Abstract要約: MN3(Memristive Nanowire Neural Network)と呼ばれる新しいハードウェアアーキテクチャは、非常に広くスパースなニューラルネットワーク層をシミュレートするための効率的なアーキテクチャとして最近紹介された。
我々は,MN3が合成,勾配伝搬,重み更新を行うことができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analog crossbar architectures for accelerating neural network training and
inference have made tremendous progress over the past several years. These
architectures are ideal for dense layers with fewer than roughly a thousand
neurons. However, for large sparse layers, crossbar architectures are highly
inefficient. A new hardware architecture, dubbed the MN3 (Memristive Nanowire
Neural Network), was recently described as an efficient architecture for
simulating very wide, sparse neural network layers, on the order of millions of
neurons per layer. The MN3 utilizes a high-density memristive nanowire mesh to
efficiently connect large numbers of silicon neurons with modifiable weights.
Here, in order to explore the MN3's ability to function as a deep neural
network, we describe one algorithm for training deep MN3 models and benchmark
simulations of the architecture on two deep learning tasks. We utilize a simple
piecewise linear memristor model, since we seek to demonstrate that training
is, in principle, possible for randomized nanowire architectures. In future
work, we intend on utilizing more realistic memristor models, and we will adapt
the presented algorithm appropriately. We show that the MN3 is capable of
performing composition, gradient propagation, and weight updates, which
together allow it to function as a deep neural network. We show that a
simulated multilayer perceptron (MLP), built from MN3 networks, can obtain a
1.61% error rate on the popular MNIST dataset, comparable to equivalently sized
software-based network. This work represents, to the authors' knowledge, the
first randomized nanowire architecture capable of reproducing the
backpropagation algorithm.
- Abstract（参考訳）: ニューラルネットワークのトレーニングと推論を加速するアナログクロスバーアーキテクチャは、ここ数年で大きな進歩を遂げている。
これらのアーキテクチャは、約1000ニューロン未満の密集層に理想的である。
しかし、大きなスパース層では、クロスバーアーキテクチャは非常に非効率である。
mn3(memristive nanowire neural network)と呼ばれる新しいハードウェアアーキテクチャは、最近、層当たり数百万のニューロンの順に、非常に広くスパースなニューラルネットワーク層をシミュレートする効率的なアーキテクチャとして記述された。
MN3は高密度の誘電性ナノワイヤメッシュを使用して、多数のシリコンニューロンを変更可能な重量で効率的に接続する。
本稿では,深層ニューラルネットワークとして機能するmn3の能力を検討するために,深層mn3モデルの学習アルゴリズムと2つの深層学習タスクにおけるアーキテクチャのベンチマークシミュレーションについて述べる。
我々は, ランダム化ナノワイヤアーキテクチャにおいて, トレーニングが可能であることを示すため, 単純な分割線形メムリスタモデルを利用する。
今後の研究では,より現実的なmemristorモデルを活用することを目指しており,提案アルゴリズムを適切に適用する。
mn3は構成,勾配伝播,重み更新を行うことができ,ディープニューラルネットワークとして機能する。
mn3ネットワークを用いたシミュレーション多層パーセプトロン (mlp) は, 一般的なmnistデータセット上で1.61%の誤差率が得られることを示した。
この研究は著者の知る限り、バックプロパゲーションアルゴリズムを再現できる最初のランダム化ナノワイヤアーキテクチャである。
関連論文リスト
- Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。
このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。
実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文 参考訳（メタデータ） (2024-10-10T19:57:36Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳（メタデータ） (2022-07-18T06:01:29Z) - Noisy Heuristics NAS: A Network Morphism based Neural Architecture
Search using Heuristics [11.726528038065764]
本稿では,Nuisy Heuristics NASというネットワークモルフィズムに基づくNASを提案する。
新しいニューロンをランダムに追加し、最も適したニューロンのみを選択するために、いくつかのニューロンをプルーニングします。
本手法は,おもちゃのデータセットとMNIST, CIFAR-10, CIFAR-100などの実世界のデータセットの両方を一般化する。
論文 参考訳（メタデータ） (2022-07-10T13:58:21Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。