論文の概要: Recurrent Neural Networks as Electrical Networks, a formalization
- arxiv url: http://arxiv.org/abs/2304.06487v1
- Date: Tue, 11 Apr 2023 15:15:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 14:25:16.689917
- Title: Recurrent Neural Networks as Electrical Networks, a formalization
- Title(参考訳): 電気ネットワークとしてのリカレントニューラルネットワーク,形式化
- Authors: Mariano Caruso, Cecilia Jarne
- Abstract要約: 本稿では,アナログ回路とニューラルネットワークの等価性を正式に得る方法を示す。
また、これらの電気ネットワークが満たさなければならない特性についても示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since the 1980s, and particularly with the Hopfield model, recurrent neural
networks or RNN became a topic of great interest. The first works of neural
networks consisted of simple systems of a few neurons that were commonly
simulated through analogue electronic circuits. The passage from the equations
to the circuits was carried out directly without justification and subsequent
formalisation. The present work shows a way to formally obtain the equivalence
between an analogue circuit and a neural network and formalizes the connection
between both systems. We also show which are the properties that these
electrical networks must satisfy. We can have confidence that the
representation in terms of circuits is mathematically equivalent to the
equations that represent the network.
- Abstract(参考訳): 1980年代以降、特にホップフィールドモデルでは、リカレントニューラルネットワーク(英語版)やRNNが大きな関心を集めている。
ニューラルネットワークの最初の研究は、アナログ電子回路を通してシミュレーションされた少数のニューロンの単純なシステムで構成された。
方程式から回路への通過は正当化やその後の形式化なしに直接行われた。
本研究は、アナログ回路とニューラルネットワークの等価性を正式に取得し、両方のシステム間の接続を形式化する方法を示す。
また、これらの電気ネットワークが満たさなければならない特性についても示す。
回路の項による表現は、ネットワークを表す方程式と数学的に等価であると確信することができる。
関連論文リスト
- Implicit regularization of deep residual networks towards neural ODEs [6.032210328417744]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳(メタデータ) (2023-09-03T16:35:59Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Interneurons accelerate learning dynamics in recurrent neural networks
for statistical adaptation [39.245842636392865]
本研究は, 直接的リカレント接続と比較して, ニューロンを介した再カレント通信を媒介する利点について検討する。
この結果から,入力統計の変化に迅速に適応する上で,介在ニューロンが有用であることが示唆された。
論文 参考訳(メタデータ) (2022-09-21T20:03:58Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - On reaction network implementations of neural networks [0.0]
本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。
ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
論文 参考訳(メタデータ) (2020-10-26T02:37:26Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳(メタデータ) (2020-10-22T09:10:16Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。