論文の概要: Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing
- arxiv url: http://arxiv.org/abs/2411.10047v1
- Date: Fri, 15 Nov 2024 08:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-18 15:38:40.515463
- Title: Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing
- Title（参考訳）: 貯留層計算における非線形ニューラルダイナミクスと分類精度
- Authors: Claus Metzner, Achim Schilling, Andreas Maier, Patrick Krauss,
- Abstract要約: 複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。
極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
- 参考スコア（独自算出の注目度）: 3.196204482566275
- License:
- Abstract: Reservoir computing - information processing based on untrained recurrent neural networks with random connections - is expected to depend on the nonlinear properties of the neurons and the resulting oscillatory, chaotic, or fixpoint dynamics of the network. However, the required degree of nonlinearity and the range of suitable dynamical regimes for a given task are not fully understood. To clarify these questions, we study the accuracy of a reservoir computer in artificial classification tasks of varying complexity, while tuning the neuron's degree of nonlinearity and the reservoir's dynamical regime. We find that, even for activation functions with extremely reduced nonlinearity, weak recurrent interactions and small input signals, the reservoir is able to compute useful representations, detectable only in higher order principal components, that render complex classificiation tasks linearly separable for the readout layer. When increasing the recurrent coupling, the reservoir develops spontaneous dynamical behavior. Nevertheless, the input-related computations can 'ride on top' of oscillatory or fixpoint attractors without much loss of accuracy, whereas chaotic dynamics reduces task performance more drastically. By tuning the system through the full range of dynamical phases, we find that the accuracy peaks both at the oscillatory/chaotic and at the chaotic/fixpoint phase boundaries, thus supporting the 'edge of chaos' hypothesis. Our results, in particular the robust weakly nonlinear operating regime, may offer new perspectives both for technical and biological neural networks with random connectivity.
- Abstract（参考訳）: 貯留層計算(Reservoir computing) - ランダムな接続を持つ未学習のリカレントニューラルネットワークに基づく情報処理は、ニューロンの非線形特性と、ネットワークの振動性、カオス性、あるいは固定点ダイナミクスに依存することが期待されている。
しかし、要求される非線形性の度合いと与えられたタスクに適した力学系の範囲は、完全には理解されていない。
これらの課題を明らかにするために, ニューロンの非線形性や貯水池の動的構造を調整しながら, 複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討した。
非線形性を極端に低下させたり、リカレント相互作用が弱いり、入力信号が小さい活性化関数であっても、この貯水池は高次主成分のみを検出できる有用な表現を計算でき、読み出し層に対して複雑な分別タスクを線形に分別することができる。
リカレントカップリングを増大させると、貯水池は自発的な動的挙動を発達させる。
それにもかかわらず、入力関連計算は精度を損なうことなく発振器や固定点アトラクタを「上に置く」ことができるが、カオス力学はタスク性能を劇的に低下させる。
力学相の全範囲を通してシステムをチューニングすることにより、その精度は振動/カオスとカオス/固定点相の境界の両方でピークに達し、それによって「カオスの端」仮説が支持される。
我々の結果、特に頑丈で非線形な動作系は、ランダムな接続を伴う技術的および生物学的ニューラルネットワークに対して、新しい視点を提供するかもしれない。
関連論文リスト
- Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
論文 参考訳（メタデータ） (2024-09-27T17:46:05Z) - Heterogeneous quantization regularizes spiking neural network activity [0.0]
本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。
我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
論文 参考訳（メタデータ） (2024-09-27T02:25:44Z) - Absence of Closed-Form Descriptions for Gradient Flow in Two-Layer Narrow Networks [0.8158530638728501]
2層狭帯域ネットワークにおける勾配流の力学は可積分系ではないことを示す。
穏やかな条件下では、勾配流の変分方程式の微分ガロア群の恒等成分は解けない。
この結果はシステムの非可積分性を確認し、トレーニング力学がリウヴィリア函数で表現できないことを示唆している。
論文 参考訳（メタデータ） (2024-08-15T17:40:11Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural
Networks to Recover Nonlinear Oscillations Efficiently [0.0]
本研究では,マイクロエレクトロメカニクスシステムにおける非線形振動を処理するために,応答層構造を持つディープニューラルネットワークに基づく手法を提案する。
我々は、複雑な振動系において、GCUよりも効率的なASUと呼ばれる新しい振動活性化関数Amplifying Sine Unitを提案している。
提案するアクティベーション関数ASUを用いた設計ネットワークは,非線形性や発振による課題に対処するため,信頼性が高く,堅牢であることを示す。
論文 参考訳（メタデータ） (2023-04-18T14:08:15Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Nonlinear computations in spiking neural networks through multiplicative
synapses [3.1498833540989413]
非線形計算は、スパイクニューラルネットワークでうまく実装できる。
これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。
いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
論文 参考訳（メタデータ） (2020-09-08T16:47:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。