論文の概要: Input-to-State Representation in linear reservoirs dynamics
- arxiv url: http://arxiv.org/abs/2003.10585v3
- Date: Fri, 12 Feb 2021 14:29:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:14:54.124859
- Title: Input-to-State Representation in linear reservoirs dynamics
- Title（参考訳）: 線形貯水池力学における入力状態表現
- Authors: Pietro Verzelli and Cesare Alippi and Lorenzo Livi and Peter Tino
- Abstract要約: 貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
- 参考スコア（独自算出の注目度）: 15.491286626948881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing is a popular approach to design recurrent neural
networks, due to its training simplicity and approximation performance. The
recurrent part of these networks is not trained (e.g., via gradient descent),
making them appealing for analytical studies by a large community of
researchers with backgrounds spanning from dynamical systems to neuroscience.
However, even in the simple linear case, the working principle of these
networks is not fully understood and their design is usually driven by
heuristics. A novel analysis of the dynamics of such networks is proposed,
which allows the investigator to express the state evolution using the
controllability matrix. Such a matrix encodes salient characteristics of the
network dynamics; in particular, its rank represents an input-indepedent
measure of the memory capacity of the network. Using the proposed approach, it
is possible to compare different reservoir architectures and explain why a
cyclic topology achieves favourable results as verified by practitioners.
- Abstract（参考訳）: Reservoirコンピューティングは、トレーニングの単純さと近似性能のために、リカレントニューラルネットワークを設計する一般的なアプローチである。
これらのネットワークの繰り返し部分は(勾配降下などを通じて)訓練されていないため、力学系から神経科学まで幅広い背景を持つ研究者の大規模なコミュニティによる分析研究に訴えかける。
しかし、単純な線形の場合でさえ、これらのネットワークの動作原理は完全には理解されておらず、設計は通常ヒューリスティックスによって駆動される。
このようなネットワークの力学の新たな解析法が提案され、制御性行列を用いて状態の進化を表現することができる。
このような行列は、ネットワークダイナミクスの健全な特性を符号化し、特に、そのランクはネットワークのメモリ容量の入出力測定値を表す。
提案手法を用いることで, 異なる貯水池アーキテクチャを比較し, 循環トポロジが有効である理由を説明することができる。
関連論文リスト
- From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳（メタデータ） (2024-09-22T23:19:04Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。
我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。
この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
論文 参考訳（メタデータ） (2024-04-08T17:33:11Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems [9.382423715831687]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文 参考訳（メタデータ） (2022-09-22T10:32:08Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。
予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
論文 参考訳（メタデータ） (2020-02-17T14:16:17Z) - Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。
特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
論文 参考訳（メタデータ） (2019-12-27T17:05:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。