論文の概要: KirchhoffNet: A Scalable Ultra Fast Analog Neural Network
- arxiv url: http://arxiv.org/abs/2310.15872v3
- Date: Mon, 6 May 2024 13:05:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 00:35:16.010978
- Title: KirchhoffNet: A Scalable Ultra Fast Analog Neural Network
- Title（参考訳）: KirchhoffNet: スケーラブルな超高速アナログニューラルネットワーク
- Authors: Zhengqi Gao, Fan-Keng Sun, Ron Rohrer, Duane S. Boning,
- Abstract要約: KirchhoffNetは、ニューラルネットワークとして機能するアナログ回路である。
多様な複雑な機械学習タスクにまたがって、最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 11.412791649312908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we leverage a foundational principle of analog electronic circuitry, Kirchhoff's current and voltage laws, to introduce a distinctive class of neural network models termed KirchhoffNet. Essentially, KirchhoffNet is an analog circuit that can function as a neural network, utilizing its initial node voltages as the neural network input and the node voltages at a specific time point as the output. The evolution of node voltages within the specified time is dictated by learnable parameters on the edges connecting nodes. We demonstrate that KirchhoffNet is governed by a set of ordinary differential equations (ODEs), and notably, even in the absence of traditional layers (such as convolution layers), it attains state-of-the-art performances across diverse and complex machine learning tasks. Most importantly, KirchhoffNet can be potentially implemented as a low-power analog integrated circuit, leading to an appealing property -- irrespective of the number of parameters within a KirchhoffNet, its on-chip forward calculation can always be completed within a short time. This characteristic makes KirchhoffNet a promising and fundamental paradigm for implementing large-scale neural networks, opening a new avenue in analog neural networks for AI.
- Abstract（参考訳）: 本稿では,アナログ電子回路の基本原理であるKirchhoffの電流と電圧の法則を活用し,KirchhoffNetと呼ばれるニューラルネットワークモデルの特徴的クラスを導入する。
基本的に、KirchhoffNetは、ニューラルネットワークとして機能し、その初期ノード電圧をニューラルネットワーク入力、特定の時点におけるノード電圧を出力として利用するアナログ回路である。
特定の時間内でのノード電圧の進化は、ノードを接続するエッジ上の学習可能なパラメータによって予測される。
我々は、KirchhoffNetが通常の微分方程式(ODE)の集合で制御されていることを実証し、特に、従来のレイヤ(畳み込み層など)がなくても、多種多様な複雑な機械学習タスクで最先端のパフォーマンスを達成できることを示した。
最も重要なことは、KirchhoffNetは低消費電力アナログ集積回路として実装できる可能性があり、KirchhoffNet内のパラメータの数に関係なく、そのオンチップフォワード計算は短時間で完了する。
この特徴により、KirchhoffNetは大規模ニューラルネットワークを実装するための有望で基本的なパラダイムとなり、AIのためのアナログニューラルネットワークの新しい道を開いた。
関連論文リスト
- Challenges and opportunities in the supervised learning of quantum
circuit outputs [0.0]
ディープニューラルネットワークは、関連するランダム量子回路の出力特性を予測できることが証明されている。
変動量子アルゴリズムでよく使用される回路の出力期待値を予測するために,ニューラルネットワークがどの程度の精度で学習できるかを検討する。
論文 参考訳（メタデータ） (2024-02-07T16:10:13Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Recurrent Neural Networks as Electrical Networks, a formalization [0.0]
本稿では,アナログ回路とニューラルネットワークの等価性を正式に得る方法を示す。
また、これらの電気ネットワークが満たさなければならない特性についても示す。
論文 参考訳（メタデータ） (2023-04-11T15:15:04Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Development of Quantum Circuits for Perceptron Neural Network Training,
Based on the Principles of Grover's Algorithm [0.0]
本稿では,ニューラルネットワークのトレーニングのための量子回路の形成の可能性を明らかにする。
パーセプトロンは、ニューラルネットワークの例のアーキテクチャとして選ばれた。
論文 参考訳（メタデータ） (2021-10-15T13:07:18Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。