論文の概要: Recurrent Neural Networks as Electrical Networks, a formalization

• arxiv url: http://arxiv.org/abs/2304.06487v1
• Date: Tue, 11 Apr 2023 15:15:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 14:25:16.689917
• Title: Recurrent Neural Networks as Electrical Networks, a formalization
• Title（参考訳）: 電気ネットワークとしてのリカレントニューラルネットワーク,形式化
• Authors: Mariano Caruso, Cecilia Jarne
• Abstract要約: 本稿では,アナログ回路とニューラルネットワークの等価性を正式に得る方法を示す。 また、これらの電気ネットワークが満たさなければならない特性についても示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the 1980s, and particularly with the Hopfield model, recurrent neural networks or RNN became a topic of great interest. The first works of neural networks consisted of simple systems of a few neurons that were commonly simulated through analogue electronic circuits. The passage from the equations to the circuits was carried out directly without justification and subsequent formalisation. The present work shows a way to formally obtain the equivalence between an analogue circuit and a neural network and formalizes the connection between both systems. We also show which are the properties that these electrical networks must satisfy. We can have confidence that the representation in terms of circuits is mathematically equivalent to the equations that represent the network.
• Abstract（参考訳）: 1980年代以降、特にホップフィールドモデルでは、リカレントニューラルネットワーク(英語版)やRNNが大きな関心を集めている。 ニューラルネットワークの最初の研究は、アナログ電子回路を通してシミュレーションされた少数のニューロンの単純なシステムで構成された。 方程式から回路への通過は正当化やその後の形式化なしに直接行われた。 本研究は、アナログ回路とニューラルネットワークの等価性を正式に取得し、両方のシステム間の接続を形式化する方法を示す。 また、これらの電気ネットワークが満たさなければならない特性についても示す。 回路の項による表現は、ネットワークを表す方程式と数学的に等価であると確信することができる。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Input-driven circuit reconfiguration in critical recurrent neural networks.Marcelo O. Magnasco [0.0]
  入力のみを用いて経路を「オンフライ」に再構成できる,非常に単純な単一層再帰ネットワークを提案する。 このネットワークは、信号の伝搬を各領域に沿ってのみ評価することで、古典的な接続性問題を解決する。
  論文  参考訳（メタデータ） (2024-05-23T20:15:23Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation [39.245842636392865]
  本研究は, 直接的リカレント接続と比較して, ニューロンを介した再カレント通信を媒介する利点について検討する。 この結果から,入力統計の変化に迅速に適応する上で,介在ニューロンが有用であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-21T20:03:58Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• On reaction network implementations of neural networks [0.0]
  本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。 ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
  論文  参考訳（メタデータ） (2020-10-26T02:37:26Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。