論文の概要: Frequency propagation: Multi-mechanism learning in nonlinear physical networks

• arxiv url: http://arxiv.org/abs/2208.08862v1
• Date: Wed, 10 Aug 2022 11:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-28 22:10:52.280764
• Title: Frequency propagation: Multi-mechanism learning in nonlinear physical networks
• Title（参考訳）: 非線形物理ネットワークにおけるマルチメカニズム学習
• Authors: Vidyesh Rao Anisetti, A. Kandala, B. Scellier, J. M. Schwarz
• Abstract要約: 非線形物理ネットワークのための学習アルゴリズムである周波数伝搬を導入する。 周波数伝搬は物理ネットワークにおけるマルチメカニズム学習戦略の例であると主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce frequency propagation, a learning algorithm for nonlinear physical networks. In a resistive electrical circuit with variable resistors, an activation current is applied at a set of input nodes at one frequency, and an error current is applied at a set of output nodes at another frequency. The voltage response of the circuit to these boundary currents is the superposition of an `activation signal' and an `error signal' whose coefficients can be read in different frequencies of the frequency domain. Each conductance is updated proportionally to the product of the two coefficients. The learning rule is local and proved to perform gradient descent on a loss function. We argue that frequency propagation is an instance of a multi-mechanism learning strategy for physical networks, be it resistive, elastic, or flow networks. Multi-mechanism learning strategies incorporate at least two physical quantities, potentially governed by independent physical mechanisms, to act as activation and error signals in the training process. Locally available information about these two signals is then used to update the trainable parameters to perform gradient descent. We demonstrate how earlier work implementing learning via chemical signaling in flow networks also falls under the rubric of multi-mechanism learning.
• Abstract（参考訳）: 非線形物理ネットワークのための学習アルゴリズムである周波数伝播を提案する。 可変抵抗を有する抵抗電気回路において、ある周波数の入力ノードのセットに活性化電流を印加し、別の周波数の出力ノードのセットにエラー電流を印加する。 これらの境界電流に対する回路の電圧応答は、周波数領域の異なる周波数で係数を読み取ることができる「活性化信号」と「エラー信号」の重畳である。 各コンダクタンスは、2つの係数の積に比例して更新される。 学習規則は局所的であり、損失関数の勾配降下を実行することが証明された。 周波数伝搬は, 抵抗性, 弾性性, フローネットワークといった物理ネットワークのマルチメカニズム学習戦略の例である。 マルチメカニズム学習戦略は、訓練プロセスにおいてアクティベーションとエラー信号として機能するために、独立した物理メカニズムによって制御される可能性のある少なくとも2つの物理量を含む。 これら2つの信号に関するローカルに利用可能な情報は、トレーニング可能なパラメータを更新して勾配降下を実行するために使用される。 フローネットワークにおける化学シグナリングによる学習の初期の研究は、マルチメカニズム学習のルーリックに該当することを示した。

関連論文リスト

• Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis [97.54180451650122]
  本研究では,2つの単語の共起を認識するタスクにおいて,浅層変圧器を訓練するダイナミクスについて検討する。 我々は3つの注意行列と線形層を同時に学習する勾配流れのダイナミクスを解析した。 本研究では, 傾斜流の新たな特性として, 勾配のテクトリアルバランスを証明し, 異なる試料の損失値をほぼ同じ速度で減少させ, さらに, ほぼ最小限のトレーニング損失の証明を容易にする。
  論文  参考訳（メタデータ） (2024-10-12T17:50:58Z)
• Input-driven circuit reconfiguration in critical recurrent neural networks.Marcelo O. Magnasco [0.0]
  入力のみを用いて経路を「オンフライ」に再構成できる,非常に単純な単一層再帰ネットワークを提案する。 このネットワークは、信号の伝搬を各領域に沿ってのみ評価することで、古典的な接続性問題を解決する。
  論文  参考訳（メタデータ） (2024-05-23T20:15:23Z)
• Onset of scrambling as a dynamical transition in tunable-range quantum circuits [0.0]
  長距離接続の異なる量子回路におけるスクランブルの開始を示す動的遷移を同定する。 異なる構造の回路の相互作用範囲の関数として、三部構造相互情報はスケーリング崩壊を示すことを示す。 従来のパワー-ロー相互作用を持つシステムに加えて、決定論的、スパース回路における同じ現象を同定する。
  論文  参考訳（メタデータ） (2023-04-19T17:37:10Z)
• Autonomous coherence protection of a two-level system in a fluctuating environment [68.8204255655161]
  我々は、もともと、相互作用しない2レベルシステム(量子ビット)のアンサンブルから静的ドップラー拡大の効果を取り除くことを意図したスキームを再検討する。 このスキームははるかに強力であり、時間と空間に依存するノイズから単一(あるいはアンサンブル)量子ビットのエネルギーレベルを保護できることを示した。
  論文  参考訳（メタデータ） (2023-02-08T01:44:30Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• Transfer Learning for Fault Diagnosis of Transmission Lines [55.971052290285485]
  事前学習されたLeNet-5畳み込みニューラルネットワークに基づく新しい伝達学習フレームワークを提案する。 ソースニューラルネットワークから知識を転送して、異種ターゲットデータセットを予測することで、異なる伝送ラインの長さとインピーダンスの障害を診断することができる。
  論文  参考訳（メタデータ） (2022-01-20T06:36:35Z)
• Convergence dynamics of Generative Adversarial Networks: the dual metric flows [0.0]
  機械学習におけるGenerative Adversarial Networksの収束性について検討する。 学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
  論文  参考訳（メタデータ） (2020-12-18T18:00:12Z)
• F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams [53.70940420595329]
  エッジストリームにおける異常検出のための新しいアプローチであるF-FADEを提案する。 ノード対間の相互作用の周波数の時間進化分布を効率的にモデル化するために、新しい周波数分解技術を用いる。 F-FADEは、一定メモリしか必要とせず、時間的および構造的な変化を伴う幅広い種類の異常をオンラインストリーミング環境で処理できる。
  論文  参考訳（メタデータ） (2020-11-09T19:55:40Z)
• Machine Learning Link Inference of Noisy Delay-coupled Networks with Opto-Electronic Experimental Tests [1.0766846340954257]
  我々は,時間遅延のあるネットワークリンクを推論する一般的な問題を解決するために,機械学習手法を考案した。 まず、未知のネットワークのダイナミクスを模倣するために、貯水池コンピューティングとして知られる機械学習システムを訓練する。 本研究では, 貯留層出力層のトレーニングパラメータを用いて未知のネットワーク構造の推定を導出する手法を定式化し, 検証する。
  論文  参考訳（メタデータ） (2020-10-29T00:24:13Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。