論文の概要: Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties

• arxiv url: http://arxiv.org/abs/2510.17849v1
• Date: Mon, 13 Oct 2025 08:27:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.143612
• Title: Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties
• Title（参考訳）: ニューロコンピューティング回路のためのニューラルネットワーク:機械学習材料特性におけるノイズ耐性とアクティベーション関数の不均一性の計算的研究
• Authors: Ye min Thant, Methawee Nukunudompanich, Chu-Chen Chueh, Manabu Ihara, Sergei Manzhos,
• Abstract要約: NNアーキテクチャとトレーニング体制の機能における回路ノイズとNAFの不均一性の影響について検討する。 NNは一般にノイズ耐性が低く、モデル精度はノイズレベルで急速に低下している。 実際に実現されたNAFの形状を用いてNNを再訓練することにより、活性化関数の不均一性の効果を緩和できることを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dedicated analog neurocomputing circuits are promising for high-throughput, low power consumption applications of machine learning (ML) and for applications where implementing a digital computer is unwieldy (remote locations; small, mobile, and autonomous devices, extreme conditions, etc.). Neural networks (NN) implemented in such circuits, however, must contend with circuit noise and the non-uniform shapes of the neuron activation function (NAF) due to the dispersion of performance characteristics of circuit elements (such as transistors or diodes implementing the neurons). We present a computational study of the impact of circuit noise and NAF inhomogeneity in function of NN architecture and training regimes. We focus on one application that requires high-throughput ML: materials informatics, using as representative problem ML of formation energies vs. lowest-energy isomer of peri-condensed hydrocarbons, formation energies and band gaps of double perovskites, and zero point vibrational energies of molecules from QM9 dataset. We show that NNs generally possess low noise tolerance with the model accuracy rapidly degrading with noise level. Single-hidden layer NNs, and NNs with larger-than-optimal sizes are somewhat more noise-tolerant. Models that show less overfitting (not necessarily the lowest test set error) are more noise-tolerant. Importantly, we demonstrate that the effect of activation function inhomogeneity can be palliated by retraining the NN using practically realized shapes of NAFs.
• Abstract（参考訳）: 専用アナログニューロコンピューティング回路は、機械学習(ML)の高スループット、低消費電力の応用と、デジタルコンピュータを実装するアプリケーション(遠隔地、小型、モバイル、自律型デバイス、極端な状況など)に期待されている。 しかし、そのような回路に実装されたニューラルネットワーク(NN)は、回路素子(トランジスタやニューロンを実装するダイオードなど)の性能特性の分散により、回路ノイズやニューロン活性化関数(NAF)の非均一形状と競合しなければならない。 本稿では、NNアーキテクチャとトレーニング体制の機能における回路ノイズとNAFの不均一性の影響を計算学的研究する。 材料情報学, 生成エネルギーと低エネルギーの炭化水素の異性体に対する代表問題ML, 二重ペロブスカイトの生成エネルギーとバンドギャップ, およびQM9データセットからの分子のゼロ点振動エネルギーなど, 高スループットMLを必要とする1つの応用に焦点を当てた。 NNは一般にノイズ耐性が低く、モデル精度はノイズレベルで急速に低下している。 シングルハイド層NNと、最大サイズのNNは、多少の耐雑音性がある。 過度に適合しない(必ずしも最低限のテストセットエラーではない)モデルの方が耐雑音性が高い。 重要なことは,NAFの実用的な形状を用いてNNを再訓練することにより,活性化関数の不均一性の効果を緩和できることである。

関連論文リスト

• Neuromorphic Quantum Neural Networks with Tunnel-Diode Activation Functions [0.0]
  トンネルダイオードは量子トンネル(QT)の物理的効果を利用するよく知られた電子部品である ニューラルネットワークのための新しい物理に基づく活性化関数として,トンネルダイオードの電流特性を用いる。 トンネルダイオードアクティベーション関数(TDAF)は,訓練と評価の双方において,精度と損失の点で従来のアクティベーション関数よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-06T21:14:23Z)
• Noise-resistant adaptive Hamiltonian learning [30.632260870411177]
  データ解析と量子状態シミュレーションのための適応型ハミルトン学習(AHL)モデルを提案し、低効率性などの問題を克服する。 AHLに基づく雑音耐性量子ニューラルネットワーク(RQNN)を開発した。
  論文  参考訳（メタデータ） (2025-01-14T11:12:59Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks [51.516451451719654]
  スパイキングニューラルネットワーク(SNN)は生物学的に妥当で、電力効率が高いことが知られている。 本稿では sVAD と呼ばれる新しい SNN ベースの音声活動検出モデルを提案する。 SincNetと1D畳み込みによる効果的な聴覚特徴表現を提供し、アテンション機構による雑音の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-09T02:55:44Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Uncertainty quantification for noisy inputs-outputs in physics-informed neural networks and neural operators [2.07180164747172]
  ニューラル・ネットワーク(PINN)とニューラル・オペレータ(NOs)におけるノイズ入力出力から生じる不確実性を定量化するベイズ的手法を提案する。 PINNは、損失関数または可能性のいずれにおいても、自動的に微分される物理情報を含むことで物理学を取り入れ、時空間座標を入力とすることが多い。 物理情報のエンコードに使用される場合,本手法はPINNやNOにシームレスに統合可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-19T08:18:26Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Stochastic Domain Wall-Magnetic Tunnel Junction Artificial Neurons for Noise-Resilient Spiking Neural Networks [0.0]
  本稿では,電圧依存性の確率発火を伴うDW-MTJニューロンについて述べる。 トレーニング中の検証精度は、理想的な統合およびファイアデバイスに匹敵することを示した。 本研究は、DW-MTJデバイスを用いて、エッジ上のニューロモルフィックコンピューティングに適した耐雑音性ネットワークを構築することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T18:00:26Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks [3.2242513084255036]
  QUINOSは、逆雑音感度(ANS)に基づく層特異的ハイブリッド量子化を行うフレームワークである CIFAR10, CIFAR100データセットを用いた実験により, QUINOSは対向ロバスト性の観点から, 均一に量子化された8ビット精度のベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-22T15:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。