論文の概要: Scalable Mechanistic Neural Networks

• arxiv url: http://arxiv.org/abs/2410.06074v1
• Date: Tue, 8 Oct 2024 14:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:20:35.629448
• Title: Scalable Mechanistic Neural Networks
• Title（参考訳）: スケーラブルなメカニスティックニューラルネットワーク
• Authors: Jiale Chen, Dingling Yao, Adeel Pervez, Dan Alistarh, Francesco Locatello,
• Abstract要約: 長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
• 参考スコア（独自算出の注目度）: 52.28945097811129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Scalable Mechanistic Neural Network (S-MNN), an enhanced neural network framework designed for scientific machine learning applications involving long temporal sequences. By reformulating the original Mechanistic Neural Network (MNN) (Pervez et al., 2024), we reduce the computational time and space complexities from cubic and quadratic with respect to the sequence length, respectively, to linear. This significant improvement enables efficient modeling of long-term dynamics without sacrificing accuracy or interpretability. Extensive experiments demonstrate that S-MNN matches the original MNN in precision while substantially reducing computational resources. Consequently, S-MNN can drop-in replace the original MNN in applications, providing a practical and efficient tool for integrating mechanistic bottlenecks into neural network models of complex dynamical systems.
• Abstract（参考訳）: 本研究では,長期的時系列を含む科学的機械学習アプリケーションのための拡張ニューラルネットワークフレームワークであるS-MNNを提案する。 元のメカニスティックニューラルネットワーク(MNN) (Pervez et al , 2024) を再構成することにより, 計算時間と空間の複雑さを, それぞれ3次および2次から線形に短縮する。 この大幅な改善により、精度や解釈性を犠牲にすることなく、長期的力学の効率的なモデリングが可能になる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。 その結果、S-MNNはアプリケーションの元のMNNを置き換えることができ、複雑な力学系のニューラルネットワークモデルに機械的ボトルネックを統合するための実用的で効率的なツールを提供する。

関連論文リスト

• Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
  我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。 適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。 我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
  論文  参考訳（メタデータ） (2024-07-18T14:06:07Z)
• Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
  スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。 本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。 提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
  論文  参考訳（メタデータ） (2024-04-26T22:52:23Z)
• Learning Long Sequences in Spiking Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、エネルギー効率の高い計算を可能にするために、脳からインスピレーションを得ている。 トランスフォーマーの効率的な代替品に対する近年の関心は、状態空間モデル(SSM)と呼ばれる最先端の繰り返しアーキテクチャの台頭をもたらした。
  論文  参考訳（メタデータ） (2023-12-14T13:30:27Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Input-Aware Dynamic Timestep Spiking Neural Networks for Efficient In-Memory Computing [7.738130109655604]
  Spiking Neural Networks (SNN) はスパースとバイナリスパイク情報を処理できることから、広く研究の関心を集めている。 IMCハードウェアで使用される時間ステップの数に応じて,SNNのエネルギーコストとレイテンシが線形にスケールすることを示す。 入力対応動的時間ステップSNN(DT-SNN)を提案し,SNNの効率を最大化する。
  論文  参考訳（メタデータ） (2023-05-27T03:01:27Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spatio-Temporal Neural Network for Fitting and Forecasting COVID-19 [1.1129587851149594]
  我々は、2020年の世界的な新型コロナウイルス感染拡大を予測するため、時空間ニューラルネットワーク(STNN)を構築した。 拡張空間状態STNN(STNN-A)と入力ゲートSTNN(STNN-I)の2つの改良されたSTNNアーキテクチャを提案する。 数値シミュレーションにより、STNNモデルはより正確なフィッティングと予測を提供し、空間データと時間データの両方を扱うことにより、他の多くのモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-22T13:59:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。