論文の概要: Device Modeling Bias in ReRAM-based Neural Network Simulations
- arxiv url: http://arxiv.org/abs/2211.15925v1
- Date: Tue, 29 Nov 2022 04:45:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 17:52:07.932177
- Title: Device Modeling Bias in ReRAM-based Neural Network Simulations
- Title（参考訳）: ReRAMに基づくニューラルネットワークシミュレーションにおけるデバイスモデリングバイアス
- Authors: Osama Yousuf, Imtiaz Hossen, Matthew W. Daniels, Martin Lueker-Boden,
Andrew Dienstfrey, Gina C. Adam
- Abstract要約: ジャンプテーブルのようなデータ駆動モデリングアプローチは、ニューラルネットワークシミュレーションのためのメモリデバイスをモデル化することを約束している。
本研究では,様々なジャンプテーブルデバイスモデルが達成したネットワーク性能評価に与える影響について検討する。
MNISTでトレーニングされた多層パーセプトロンの結果は、バイナリに基づくデバイスモデルが予測不可能に振る舞うことを示した。
- 参考スコア（独自算出の注目度）: 1.5490932775843136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-driven modeling approaches such as jump tables are promising techniques
to model populations of resistive random-access memory (ReRAM) or other
emerging memory devices for hardware neural network simulations. As these
tables rely on data interpolation, this work explores the open questions about
their fidelity in relation to the stochastic device behavior they model. We
study how various jump table device models impact the attained network
performance estimates, a concept we define as modeling bias. Two methods of
jump table device modeling, binning and Optuna-optimized binning, are explored
using synthetic data with known distributions for benchmarking purposes, as
well as experimental data obtained from TiOx ReRAM devices. Results on a
multi-layer perceptron trained on MNIST show that device models based on
binning can behave unpredictably particularly at low number of points in the
device dataset, sometimes over-promising, sometimes under-promising target
network accuracy. This paper also proposes device level metrics that indicate
similar trends with the modeling bias metric at the network level. The proposed
approach opens the possibility for future investigations into statistical
device models with better performance, as well as experimentally verified
modeling bias in different in-memory computing and neural network
architectures.
- Abstract（参考訳）: ジャンプテーブルのようなデータ駆動モデリングアプローチは、ハードウェアニューラルネットワークシミュレーションのための抵抗性ランダムアクセスメモリ(reram)や他の新興メモリデバイスの集団をモデル化するための有望な手法である。
これらのテーブルはデータの補間に依存しているため、この研究は、それらがモデル化する確率的デバイス動作に関連して、それらの忠実性に関するオープンな質問を探索する。
本研究では,様々なジャンプテーブルデバイスモデルが達成したネットワーク性能推定に与える影響について検討する。
ジャンプテーブルデバイスモデリングの2つの手法であるbinningとoptimized binningをベンチマークのために既知の分布を持つ合成データと、tiox reramデバイスから得られた実験データを用いて検討した。
mnistでトレーニングされた多層パーセプトロンの結果、binningに基づくデバイスモデルは、デバイスデータセットの低点において特に予測不能に振る舞うことができ、時には過剰に予測され、時としてターゲットネットワークの精度が過小評価される。
また,ネットワークレベルでのモデリングバイアスの指標と類似した傾向を示すデバイスレベルの指標を提案する。
提案されたアプローチは、パフォーマンスが向上した統計デバイスモデルに関する将来の調査の可能性を広げ、異なるインメモリコンピューティングとニューラルネットワークアーキテクチャにおけるモデリングバイアスを実験的に検証する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Geometric and Topological Inference for Deep Representations of Complex
Networks [13.173307471333619]
我々は、トポロジと表現の幾何学を強調する統計のクラスを提示する。
モデル選択に使用する場合の感度と特異性の観点から,これらの統計値を評価する。
これらの新しい手法により、脳やコンピューター科学者は、脳やモデルによって学習された動的表現変換を可視化することができる。
論文 参考訳（メタデータ） (2022-03-10T17:14:14Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Tensor networks for unsupervised machine learning [9.897828174118974]
本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。
提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-24T12:51:00Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。
我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文 参考訳（メタデータ） (2020-02-25T10:56:47Z) - Predicting Multidimensional Data via Tensor Learning [0.0]
本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。
モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。
提案モデルは,予測文献に存在するベンチマークモデルより優れている。
論文 参考訳（メタデータ） (2020-02-11T11:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。