論文の概要: Hardware-aware Training Techniques for Improving Robustness of Ex-Situ
Neural Network Transfer onto Passive TiO2 ReRAM Crossbars
- arxiv url: http://arxiv.org/abs/2305.18495v1
- Date: Mon, 29 May 2023 13:55:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 20:16:03.326821
- Title: Hardware-aware Training Techniques for Improving Robustness of Ex-Situ
Neural Network Transfer onto Passive TiO2 ReRAM Crossbars
- Title（参考訳）: パッシブTiO2 ReRAMクロスバーへの元ニューラルネットワーク転送のロバスト性向上のためのハードウェア・アウェア・トレーニング技術
- Authors: Philippe Drolet, Rapha\"el Dawant, Victor Yon, Pierre-Antoine Mouny,
Matthieu Valdenaire, Javier Arias Zapata, Pierre Gliech, Sean U. N. Wood,
Serge Ecoffey, Fabien Alibart, Yann Beilliard, Dominique Drouin
- Abstract要約: ドロップアウト, 再パラメータ化トリック, TiO2クロスバー変数の正規化といった手法を応用したトレーニング手法を提案する。
提案手法を用いてトレーニングされたニューラルネットワークでは、テストセットのデータポイントの79.5%を95%以上の精度で分類することができる。
- 参考スコア（独自算出の注目度）: 0.8553766625486795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Passive resistive random access memory (ReRAM) crossbar arrays, a promising
emerging technology used for analog matrix-vector multiplications, are far
superior to their active (1T1R) counterparts in terms of the integration
density. However, current transfers of neural network weights into the
conductance state of the memory devices in the crossbar architecture are
accompanied by significant losses in precision due to hardware variabilities
such as sneak path currents, biasing scheme effects and conductance tuning
imprecision. In this work, training approaches that adapt techniques such as
dropout, the reparametrization trick and regularization to TiO2 crossbar
variabilities are proposed in order to generate models that are better adapted
to their hardware transfers. The viability of this approach is demonstrated by
comparing the outputs and precision of the proposed hardware-aware network with
those of a regular fully connected network over a few thousand weight transfers
using the half moons dataset in a simulation based on experimental data. For
the neural network trained using the proposed hardware-aware method, 79.5% of
the test set's data points can be classified with an accuracy of 95% or higher,
while only 18.5% of the test set's data points can be classified with this
accuracy by the regularly trained neural network.
- Abstract（参考訳）: アナログ行列ベクトル乗算に使用される有望な新興技術であるパッシブ抵抗ランダムアクセスメモリ(ReRAM)クロスバーアレイは、積分密度の点で、そのアクティブな1T1Rよりもはるかに優れている。
しかし、クロスバーアーキテクチャにおけるメモリデバイスのコンダクタンス状態へのニューラルネットワーク重みの電流伝達は、スニークパス電流やバイアススキーム効果、コンダクタンスチューニング不整合などのハードウェアの変動による精度の大幅な低下を伴う。
本研究では,ハードウェア転送に適合するモデルを生成するために,ドロップアウト,再パラメータ化トリック,tio2クロスバー確率への正規化といった手法を適応させるトレーニング手法を提案する。
実験データに基づくシミュレーションにおいて,本手法の有効性は,提案したハードウェア・アウェアネットワークの出力と精度を,半衛星データセットを用いて数千以上の全接続ネットワークの出力と精度と比較することによって実証される。
提案したハードウェア認識方式を用いてトレーニングされたニューラルネットワークでは、テストセットのデータポイントの79.5%が95%以上の精度で分類でき、テストセットのデータポイントの18.5%のみが、定期的にトレーニングされたニューラルネットワークによってこの精度で分類できる。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Quantization of Deep Neural Networks to facilitate self-correction of
weights on Phase Change Memory-based analog hardware [0.0]
乗法重みの集合を近似するアルゴリズムを開発する。
これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。
その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:47:25Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Seizure Detection and Prediction by Parallel Memristive Convolutional
Neural Networks [2.0738462952016232]
本稿では,低レイテンシ並列畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。
本ネットワークは,てんかん発作検出では99.84%,てんかん発作予測では97.54%のクロスバリデーション精度を達成している。
CNNは22nm FDSOI CMOSプロセスで31.255mm$2$の面積を占有しながら約2.791Wの電力を消費すると推定されている。
論文 参考訳（メタデータ） (2022-06-20T18:16:35Z) - Implementation of a Binary Neural Network on a Passive Array of Magnetic
Tunnel Junctions [2.917306244908168]
我々は、MTJの受動配列に基づくニューラルネットワークハードウェア推論を実証するために、MTJの低消費電力と本質的に二元的動作を利用する。
デバイスサイズが広い15 x 15 MTJアレイにおいて,ネットワークパラメータを適切に調整することで,ソフトウェア等価精度を最大95.3 %まで向上する。
論文 参考訳（メタデータ） (2021-12-16T19:11:29Z) - Semantic Perturbations with Normalizing Flows for Improved
Generalization [62.998818375912506]
我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。
トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
論文 参考訳（メタデータ） (2021-08-18T03:20:00Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳（メタデータ） (2020-05-05T08:00:07Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z) - On transfer learning of neural networks using bi-fidelity data for
uncertainty propagation [0.0]
本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。
前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。
次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
論文 参考訳（メタデータ） (2020-02-11T15:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。