論文の概要: A Fast Algorithm to Simulate Nonlinear Resistive Networks

• arxiv url: http://arxiv.org/abs/2402.11674v1
• Date: Sun, 18 Feb 2024 18:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:45:25.594424
• Title: A Fast Algorithm to Simulate Nonlinear Resistive Networks
• Title（参考訳）: 非線形抵抗ネットワークをシミュレートする高速アルゴリズム
• Authors: Benjamin Scellier
• Abstract要約: 線形不等式制約を持つ二次計画問題として,非線形抵抗ネットワークのシミュレーションのための新しい手法を提案する。 シミュレーション手法は既存のSPICEシミュレーションよりも優れており,150倍高速で最大325倍のネットワークをトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 0.6526824510982799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the quest for energy-efficient artificial intelligence systems, resistor networks are attracting interest as an alternative to conventional GPU-based neural networks. These networks leverage the physics of electrical circuits for inference and can be optimized with local training techniques such as equilibrium propagation. Despite their potential advantage in terms of power consumption, the challenge of efficiently simulating these resistor networks has been a significant bottleneck to assess their scalability, with current methods either being limited to linear networks or relying on realistic, yet slow circuit simulators like SPICE. Assuming ideal circuit elements, we introduce a novel approach for the simulation of nonlinear resistive networks, which we frame as a quadratic programming problem with linear inequality constraints, and which we solve using a fast, exact coordinate descent algorithm. Our simulation methodology significantly outperforms existing SPICE-based simulations, enabling the training of networks up to 325 times larger at speeds 150 times faster, resulting in a 50,000-fold improvement in the ratio of network size to epoch duration. Our approach, adaptable to other electrical components, can foster more rapid progress in the simulations of nonlinear electrical networks.
• Abstract（参考訳）: エネルギー効率の高い人工知能システムを求めて、抵抗ネットワークは従来のgpuベースのニューラルネットワークに代わるものとして注目を集めている。 これらのネットワークは電気回路の物理を利用して推論し、平衡伝播のような局所的な訓練手法で最適化することができる。 電力消費の観点からは潜在的な優位性にもかかわらず、これらの抵抗ネットワークを効率的にシミュレーションすることはスケーラビリティを評価する上で重要なボトルネックであり、現在の手法は線形ネットワークに限られるか、SPICEのような現実的で遅い回路シミュレータに依存している。 理想回路要素を仮定し,線形不等式制約を持つ二次計画問題として構成する非線形抵抗ネットワークのシミュレーション手法を提案し,高速で正確な座標降下アルゴリズムを用いて解く。 シミュレーション手法は,従来のスパイスベースのシミュレーションを著しく上回り,最大325倍の速度でネットワークのトレーニングが可能となり,ネットワークサイズとエポック期間の比率が5万倍に向上した。 我々のアプローチは他の電気部品にも適用可能であり、非線形電気ネットワークのシミュレーションの急速な進歩を促すことができる。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Simulating Network Paths with Recurrent Buffering Units [4.7590500506853415]
  我々は,送信者が提供する時間変化負荷に応じて,エンドツーエンドのパケット遅延値を生成するモデルを求める。 本稿では,リカレントバッファリングユニット(Recurrent Buffering Unit)と呼ばれる新しいRNNスタイルのアーキテクチャに物理ネットワークパスの意味を埋め込む,ネットワークシミュレーションのための新しいグレーボックスアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-23T16:46:31Z)
• Implementing efficient balanced networks with mixed-signal spike-based learning circuits [2.1640200483378953]
  効率的な平衡ネットワーク(Efficient Balanced Networks、EBN)は、興奮性および抑制性シナプス電流が短時間の時間スケールで平衡しているスパイキングニューロンのネットワークである。 我々は、スパイキングニューロンのランダムな接続ネットワークを緊密にバランスの取れた状態に駆動するオンチップ実装に適した、新しい局所学習ルールを開発する。 それらの符号化特性とスパース活性により、ニューロモルフィック電子EBNは極端エッジコンピューティング用途に理想的に適合する。
  論文  参考訳（メタデータ） (2020-10-27T15:05:51Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• NN-PARS: A Parallelized Neural Network Based Circuit Simulation Framework [6.644753932694431]
  既存の回路シミュレータは、数十億のトランジスタを持つ設計の非線形挙動を分析するのに遅いか不正確なかのいずれかである。 シミュレーションタスクのイベント駆動スケジューリングを最適化したニューラルネットワーク(NN)ベースの並列回路シミュレーションフレームワークであるNN-PARSを提案する。 NN-PARSは、最先端の電流ベースシミュレーション法と比較して、大容量回路における2桁以上のシミュレーション時間を短縮することを示した。
  論文  参考訳（メタデータ） (2020-02-13T00:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。