論文の概要: A Fast Algorithm to Simulate Nonlinear Resistive Networks

• arxiv url: http://arxiv.org/abs/2402.11674v2
• Date: Thu, 6 Jun 2024 09:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 21:22:40.181768
• Title: A Fast Algorithm to Simulate Nonlinear Resistive Networks
• Title（参考訳）: 非線形抵抗ネットワークの高速シミュレーションアルゴリズム
• Authors: Benjamin Scellier,
• Abstract要約: 線形不等式制約を持つ二次計画問題として,非線形抵抗ネットワークのシミュレーションのための新しい手法を提案する。 シミュレーション手法は既存のSPICEシミュレーションよりも優れており、最大327倍のネットワークを160倍高速でトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 0.6526824510982799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog electrical networks have long been investigated as energy-efficient computing platforms for machine learning, leveraging analog physics during inference. More recently, resistor networks have sparked particular interest due to their ability to learn using local rules (such as equilibrium propagation), enabling potentially important energy efficiency gains for training as well. Despite their potential advantage, the simulations of these resistor networks has been a significant bottleneck to assess their scalability, with current methods either being limited to linear networks or relying on realistic, yet slow circuit simulators like SPICE. Assuming ideal circuit elements, we introduce a novel approach for the simulation of nonlinear resistive networks, which we frame as a quadratic programming problem with linear inequality constraints, and which we solve using a fast, exact coordinate descent algorithm. Our simulation methodology significantly outperforms existing SPICE-based simulations, enabling the training of networks up to 327 times larger at speeds 160 times faster, resulting in a 50,000-fold improvement in the ratio of network size to epoch duration. Our approach can foster more rapid progress in the simulations of nonlinear analog electrical networks.
• Abstract（参考訳）: アナログ電気ネットワークは、推論中のアナログ物理学を利用して、機械学習のためのエネルギー効率の高い計算プラットフォームとして長い間研究されてきた。 近年、抵抗ネットワークは、局所的な規則(平衡伝播など)を用いて学習する能力によって特に興味を惹き付け、トレーニングにおいて潜在的に重要なエネルギー効率の向上も可能になった。 潜在的な優位性にもかかわらず、これらの抵抗ネットワークのシミュレーションはそのスケーラビリティを評価する上で重要なボトルネックであり、現在の手法は線形ネットワークに限られるか、SPICEのような現実的で遅い回路シミュレータに依存している。 理想的な回路要素を仮定し,線形不等式制約を持つ二次計画問題として,高速かつ正確な座標導出アルゴリズムを用いて解く非線形抵抗ネットワークのシミュレーション手法を提案する。 シミュレーション手法は既存のSPICEシミュレーションを著しく上回り,160倍高速で最大327倍のネットワークのトレーニングが可能となり,ネットワークサイズとエポック期間の比が5万倍に向上した。 本手法は非線形アナログ電気ネットワークのシミュレーションにおいて, より高速な進展を促すことができる。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Simulating Network Paths with Recurrent Buffering Units [4.7590500506853415]
  我々は,送信者が提供する時間変化負荷に応じて,エンドツーエンドのパケット遅延値を生成するモデルを求める。 本稿では,リカレントバッファリングユニット(Recurrent Buffering Unit)と呼ばれる新しいRNNスタイルのアーキテクチャに物理ネットワークパスの意味を埋め込む,ネットワークシミュレーションのための新しいグレーボックスアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-23T16:46:31Z)
• Implementing efficient balanced networks with mixed-signal spike-based learning circuits [2.1640200483378953]
  効率的な平衡ネットワーク(Efficient Balanced Networks、EBN)は、興奮性および抑制性シナプス電流が短時間の時間スケールで平衡しているスパイキングニューロンのネットワークである。 我々は、スパイキングニューロンのランダムな接続ネットワークを緊密にバランスの取れた状態に駆動するオンチップ実装に適した、新しい局所学習ルールを開発する。 それらの符号化特性とスパース活性により、ニューロモルフィック電子EBNは極端エッジコンピューティング用途に理想的に適合する。
  論文  参考訳（メタデータ） (2020-10-27T15:05:51Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• NN-PARS: A Parallelized Neural Network Based Circuit Simulation Framework [6.644753932694431]
  既存の回路シミュレータは、数十億のトランジスタを持つ設計の非線形挙動を分析するのに遅いか不正確なかのいずれかである。 シミュレーションタスクのイベント駆動スケジューリングを最適化したニューラルネットワーク(NN)ベースの並列回路シミュレーションフレームワークであるNN-PARSを提案する。 NN-PARSは、最先端の電流ベースシミュレーション法と比較して、大容量回路における2桁以上のシミュレーション時間を短縮することを示した。
  論文  参考訳（メタデータ） (2020-02-13T00:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。