論文の概要: Unfolding recurrence by Green's functions for optimized reservoir computing

• arxiv url: http://arxiv.org/abs/2010.06247v2
• Date: Wed, 14 Oct 2020 07:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 00:22:18.266674
• Title: Unfolding recurrence by Green's functions for optimized reservoir computing
• Title（参考訳）: 最適貯留層計算のためのグリーン関数による再帰の展開
• Authors: Sandra Nestler, Christian Keup, David Dahmen, Matthieu Gilson, Holger Rauhut and Moritz Helias
• Abstract要約: 皮質ネットワークは強くリカレントであり、ニューロンは固有の時間的ダイナミクスを持っている。 これにより、ディープフィードフォワードネットワークとは切り離される。 本稿では,フィードフォワードネットワークにリンクする可解リカレントネットワークモデルを提案する。
• 参考スコア（独自算出の注目度）: 3.7823923040445995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cortical networks are strongly recurrent, and neurons have intrinsic temporal dynamics. This sets them apart from deep feed-forward networks. Despite the tremendous progress in the application of feed-forward networks and their theoretical understanding, it remains unclear how the interplay of recurrence and non-linearities in recurrent cortical networks contributes to their function. The purpose of this work is to present a solvable recurrent network model that links to feed forward networks. By perturbative methods we transform the time-continuous, recurrent dynamics into an effective feed-forward structure of linear and non-linear temporal kernels. The resulting analytical expressions allow us to build optimal time-series classifiers from random reservoir networks. Firstly, this allows us to optimize not only the readout vectors, but also the input projection, demonstrating a strong potential performance gain. Secondly, the analysis exposes how the second order stimulus statistics is a crucial element that interacts with the non-linearity of the dynamics and boosts performance.
• Abstract（参考訳）: 皮質ネットワークは強く再発し、ニューロンは内在的な時間的ダイナミクスを持つ。 これにより、ディープフィードフォワードネットワークとは切り離される。 フィードフォワードネットワークの適用の著しい進歩と理論的理解にもかかわらず、反復性皮質ネットワークにおける再発の相互作用と非線形性がそれらの機能にどのように寄与するかは、まだ不明である。 本研究の目的は、フォワードネットワークにリンクする解決可能なリカレントネットワークモデルを提供することである。 摂動的手法により、時間連続的反復力学を線形および非線形時間核の効果的なフィードフォワード構造に変換する。 解析式により、ランダムな貯水池ネットワークから最適な時系列分類器を構築することができる。 まず,読み出しベクトルだけでなく入力投影も最適化し,高い性能向上を示す。 次に、第2次刺激統計がダイナミクスの非線形性と相互作用し、パフォーマンスを向上させる重要な要素であることを示す。

関連論文リスト

• Gradient-free training of recurrent neural networks [3.272216546040443]
  本稿では,勾配に基づく手法を使わずに再帰型ニューラルネットワークの重みとバイアスを全て構成する計算手法を提案する。 このアプローチは、動的システムに対するランダムな特徴ネットワークとクープマン作用素理論の組み合わせに基づいている。 時系列の計算実験,カオス力学系の予測,制御問題などにおいて,構築したリカレントニューラルネットワークのトレーニング時間と予測精度が向上することが観察された。
  論文  参考訳（メタデータ） (2024-10-30T21:24:34Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。 適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Link Prediction for Temporally Consistent Networks [6.981204218036187]
  リンク予測は、動的ネットワークにおける次の関係を推定する。 動的に進化するネットワークを表現するための隣接行列の使用は、異種、スパース、またはネットワーク形成から解析的に学習する能力を制限する。 時間的パラメータ化ネットワークモデルとして不均一な時間進化活動を表現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-06T07:28:03Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。