Fugu-MT 論文翻訳(概要): A Step Towards Uncovering The Structure of Multistable Neural Networks

論文の概要: A Step Towards Uncovering The Structure of Multistable Neural Networks

arxiv url: http://arxiv.org/abs/2210.03241v1
Date: Thu, 6 Oct 2022 22:54:17 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 13:59:55.617010
Title: A Step Towards Uncovering The Structure of Multistable Neural Networks
Title（参考訳）: 多安定ニューラルネットワークの構造解明に向けて
Authors: Magnus Tournoy and Brent Doiron
Abstract要約: 本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。活性化関数は非平滑なヘビサイドステップ関数によって単純化される。マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
参考スコア（独自算出の注目度）: 1.14219428942199
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the structure of multistable recurrent neural networks. The activation function is simplified by a nonsmooth Heaviside step function. This nonlinearity partitions the phase space into regions with different, yet linear dynamics. We derive how multistability is encoded within the network architecture. Stable states are identified by their semipositivity constraints on the synaptic weight matrix. The restrictions can be separated by their effects on the signs or the strengths of the connections. Exact results on network topology, sign stability, weight matrix factorization, pattern completion and pattern coupling are derived and proven. These may lay the foundation of more complex recurrent neural networks and neurocomputing.
Abstract（参考訳）: 本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。活性化関数は非平滑なヘビサイドステップ関数によって単純化される。この非線形性は位相空間を異なるが線形ダイナミクスを持つ領域に分割する。ネットワークアーキテクチャ内でのマルチスタビリティのコード化について検討する。安定状態はシナプス重み行列の半有界性制約によって同定される。制限は、接続の符号や強度への影響によって分離することができる。ネットワークトポロジー、符号安定性、重み行列因子分解、パターン補完、パターン結合に関する正確な結果が導出され、証明される。これらはより複雑なリカレントニューラルネットワークとニューロコンピューティングの基礎となるかもしれない。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。記号の配置に非依存であり、それによって表現される意味論にのみ依存する。識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文参考訳（メタデータ） (2024-05-12T22:18:25Z)
Expressivity of Spiking Neural Networks [15.181458163440634]
本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
論文参考訳（メタデータ） (2023-08-16T08:45:53Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems [9.382423715831687]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文参考訳（メタデータ） (2022-09-22T10:32:08Z)
Stability Analysis of Fractional Order Memristor Synapse-coupled Hopfield Neural Network with Ring Structure [0.0]
まず,2つのニューロンに2次メムリスタ共役ホップフィールドニューラルネットワークを提案する。我々は、n個のサブネットワークニューロンからなるリング構造を持つニューラルネットワークにモデルを拡張し、ネットワーク内の同期を増大させる。 n-ニューロンの場合、安定性はサブネットワークの構造と数に依存することが明らかになった。
論文参考訳（メタデータ） (2021-09-29T12:33:23Z)
Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文参考訳（メタデータ） (2021-08-23T04:22:58Z)
Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。一般化能力とニューラルネットワークの安定性との関係についても論じている。ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文参考訳（メタデータ） (2020-11-03T12:03:19Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Phase diagram for two-layer ReLU neural networks at infinite-width limit [6.380166265263755]
我々は、2層ReLUニューラルネットワークの位相図を無限幅極限で描画する。位相図の3つのレギュレーション、すなわち線形レギュレーション、臨界レギュレーション、凝縮レギュレーションを同定する。線形状態においては、NNトレーニングダイナミクスは指数的損失減衰を持つランダム特徴モデルとほぼ同様の線形である。凝縮状態において、能動ニューロンがいくつかの異なる向きで凝縮されていることを示す実験を通して、我々は実験を行う。
論文参考訳（メタデータ） (2020-07-15T06:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。