論文の概要: KirchhoffNet: A Circuit Bridging Message Passing and Continuous-Depth Models

• arxiv url: http://arxiv.org/abs/2310.15872v2
• Date: Wed, 10 Jan 2024 18:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:51:29.751266
• Title: KirchhoffNet: A Circuit Bridging Message Passing and Continuous-Depth Models
• Title（参考訳）: KirchhoffNet: メッセージパッシングと継続的深度モデルによる回路ブリッジ
• Authors: Zhengqi Gao, Fan-Keng Sun, Duane S. Boning
• Abstract要約: KirchhoffNetは、メッセージパッシングニューラルネットワークと連続深度ネットワークとの密接な接続を確立する。 我々は、KirchhoffNetがMNISTデータセットで98.86%の精度でテストできることを実証した。
• 参考スコア（独自算出の注目度）: 14.012394761535186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we exploit a fundamental principle of analog electronic circuitry, Kirchhoff's current law, to introduce a unique class of neural network models that we refer to as KirchhoffNet. KirchhoffNet establishes close connections with message passing neural networks and continuous-depth networks. We demonstrate that even in the absence of any traditional layers (such as convolution, pooling, or linear layers), KirchhoffNet attains 98.86% test accuracy on the MNIST dataset, comparable with state of the art (SOTA) results. What makes KirchhoffNet more intriguing is its potential in the realm of hardware. Contemporary deep neural networks are conventionally deployed on GPUs. In contrast, KirchhoffNet can be physically realized by an analog electronic circuit. Moreover, we justify that irrespective of the number of parameters within a KirchhoffNet, its forward calculation can always be completed within 1/f seconds, with f representing the hardware's clock frequency. This characteristic introduces a promising technology for implementing ultra-large-scale neural networks.
• Abstract（参考訳）: 本稿では,アナログ電子回路の基本原理であるKirchhoffの現行法則を利用して,KirchhoffNetと呼ぶ独自のニューラルネットワークモデルを導入する。 KirchhoffNetは、メッセージパッシングニューラルネットワークと連続深度ネットワークとの密接な接続を確立する。 従来の層(畳み込み、プーリング、線形層など)が存在しない場合でも、kirchhoffnetはmnistデータセットで98.86%のテスト精度を達成し、state of the art (sota)の結果に匹敵する。 KirchhoffNetが興味深いのは、ハードウェア界におけるその可能性だ。 現代のディープニューラルネットワークは従来、gpuにデプロイされる。 対照的に、KirchhoffNetはアナログ電子回路によって物理的に実現することができる。 さらに、KirchhoffNet内のパラメータの数に関係なく、その前方計算は常に1/f秒以内に完了し、fはハードウェアのクロック周波数を表す。 この特徴は、超大規模ニューラルネットワークの実装に有望な技術を導入する。

関連論文リスト

• Challenges and opportunities in the supervised learning of quantum circuit outputs [0.0]
  ディープニューラルネットワークは、関連するランダム量子回路の出力特性を予測できることが証明されている。 変動量子アルゴリズムでよく使用される回路の出力期待値を予測するために,ニューラルネットワークがどの程度の精度で学習できるかを検討する。
  論文  参考訳（メタデータ） (2024-02-07T16:10:13Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Recurrent Neural Networks as Electrical Networks, a formalization [0.0]
  本稿では,アナログ回路とニューラルネットワークの等価性を正式に得る方法を示す。 また、これらの電気ネットワークが満たさなければならない特性についても示す。
  論文  参考訳（メタデータ） (2023-04-11T15:15:04Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Development of Quantum Circuits for Perceptron Neural Network Training, Based on the Principles of Grover's Algorithm [0.0]
  本稿では,ニューラルネットワークのトレーニングのための量子回路の形成の可能性を明らかにする。 パーセプトロンは、ニューラルネットワークの例のアーキテクチャとして選ばれた。
  論文  参考訳（メタデータ） (2021-10-15T13:07:18Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。