論文の概要: Asymptotic Stability in Reservoir Computing

• arxiv url: http://arxiv.org/abs/2206.03854v1
• Date: Tue, 7 Jun 2022 11:18:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 13:13:41.342370
• Title: Asymptotic Stability in Reservoir Computing
• Title（参考訳）: 貯留層計算における漸近安定性
• Authors: Jonathan Dong, Erik B\"orve, Mushegh Rafayelyan, Michael Unser
• Abstract要約: Reservoir Computingは、内部重みをランダムに固定したリカレントニューラルネットワークのクラスである。 実際には、摂動の効果が指数関数的に爆発しない安定した状態に留まることが望ましい。 我々は、リカレントカーネル制限を利用して、貯水池コンピューティングの安定性に関する新たな洞察を導き出す。
• 参考スコア（独自算出の注目度）: 23.03681816727597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reservoir Computing is a class of Recurrent Neural Networks with internal weights fixed at random. Stability relates to the sensitivity of the network state to perturbations. It is an important property in Reservoir Computing as it directly impacts performance. In practice, it is desirable to stay in a stable regime, where the effect of perturbations does not explode exponentially, but also close to the chaotic frontier where reservoir dynamics are rich. Open questions remain today regarding input regularization and discontinuous activation functions. In this work, we use the recurrent kernel limit to draw new insights on stability in reservoir computing. This limit corresponds to large reservoir sizes, and it already becomes relevant for reservoirs with a few hundred neurons. We obtain a quantitative characterization of the frontier between stability and chaos, which can greatly benefit hyperparameter tuning. In a broader sense, our results contribute to understanding the complex dynamics of Recurrent Neural Networks.
• Abstract（参考訳）: Reservoir Computingは、内部重みをランダムに固定したリカレントニューラルネットワークのクラスである。 安定性は摂動に対するネットワーク状態の感度に関係している。 パフォーマンスに直接影響を与えるため、Reservoir Computingでは重要な特性である。 実際には、摂動の影響が指数関数的に爆発するのではなく、貯水池の動力学が豊富であるカオスフロンティアに近い安定した状態にとどまることが望ましい。 現在、入力正則化と不連続活性化関数に関するオープンな疑問が残っている。 本研究では、リカレントカーネル制限を用いて、貯水池コンピューティングの安定性に関する新たな知見を導き出す。 この限界は大きな貯水池のサイズに対応しており、既に数百のニューロンを持つ貯水池に関係している。 安定性とカオスのフロンティアを定量的に評価することで,ハイパーパラメータチューニングに大きな効果が期待できる。 より広い意味では、この結果はリカレントニューラルネットワークの複雑なダイナミクスを理解するのに役立つ。

関連論文リスト

• Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
  複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。 極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
  論文  参考訳（メタデータ） (2024-11-15T08:52:12Z)
• PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs [11.338419403452239]
  離散時間非線形力学系の特殊クラスに対する一般化ギャップに縛られたPAC-Bayesを導出する。 提案した境界はデータセットのサイズが大きくなるにつれて0に収束する。 他の利用可能なバウンダリと異なり、派生したバウンダリは非i.d.データ(時系列)を保持しており、RNNのステップ数で成長しない。
  論文  参考訳（メタデータ） (2023-12-15T13:49:29Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Dissipation as a resource for Quantum Reservoir Computing [3.4078654008228924]
  量子貯水池計算の分野における散逸によるポテンシャル増強について述べる。 連続散逸に基づく我々のアプローチは、従来の量子貯水池計算の提案の力学を再現するだけでなく、その応用も可能である。
  論文  参考訳（メタデータ） (2022-12-22T23:30:07Z)
• Accumulative reservoir construction: Bridging continuously relaxed and periodically refreshed extended reservoirs [0.0]
  本稿では, 拡張貯水池の部分的な更新を連続的に行う貯水池構築について紹介する。 これは、継続的(Lindblad)緩和と、最近導入された定期的なリフレッシュアプローチの両方のための統一されたフレームワークを提供する。 テンソルネットワークを含む,動作範囲がエラーや計算コストにどのように影響するかを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:59:58Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。