論文の概要: Exploiting Multiple Timescales in Hierarchical Echo State Networks
- arxiv url: http://arxiv.org/abs/2101.04223v2
- Date: Thu, 14 Jan 2021 17:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 14:34:43.022991
- Title: Exploiting Multiple Timescales in Hierarchical Echo State Networks
- Title（参考訳）: 階層型Echo状態ネットワークにおける複数時間スケールのエクスプロイト
- Authors: Luca Manneschi, Matthew O. A. Ellis, Guido Gigante, Andrew C. Lin,
Paolo Del Giudice, Eleni Vasilaki
- Abstract要約: エコー状態ネットワーク(ESN)は、線形出力重みのトレーニングのみを必要とする貯水池コンピューティングの強力な形態である。
ここでは,貯水池を2つの小さな貯水池に分割した階層型esnの時間スケールを考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Echo state networks (ESNs) are a powerful form of reservoir computing that
only require training of linear output weights whilst the internal reservoir is
formed of fixed randomly connected neurons. With a correctly scaled
connectivity matrix, the neurons' activity exhibits the echo-state property and
responds to the input dynamics with certain timescales. Tuning the timescales
of the network can be necessary for treating certain tasks, and some
environments require multiple timescales for an efficient representation. Here
we explore the timescales in hierarchical ESNs, where the reservoir is
partitioned into two smaller linked reservoirs with distinct properties. Over
three different tasks (NARMA10, a reconstruction task in a volatile
environment, and psMNIST), we show that by selecting the hyper-parameters of
each partition such that they focus on different timescales, we achieve a
significant performance improvement over a single ESN. Through a linear
analysis, and under the assumption that the timescales of the first partition
are much shorter than the second's (typically corresponding to optimal
operating conditions), we interpret the feedforward coupling of the partitions
in terms of an effective representation of the input signal, provided by the
first partition to the second, whereby the instantaneous input signal is
expanded into a weighted combination of its time derivatives. Furthermore, we
propose a data-driven approach to optimise the hyper-parameters through a
gradient descent optimisation method that is an online approximation of
backpropagation through time. We demonstrate the application of the online
learning rule across all the tasks considered.
- Abstract（参考訳）: エコー状態ネットワーク(esns)はリニア出力重みのトレーニングのみを必要とする強力なリザーバコンピューティング形態であり、内部リザーバはランダムに結合したニューロンで形成されている。
正しくスケールされた接続行列により、ニューロンの活動はエコー状態の性質を示し、特定の時間スケールで入力ダイナミクスに応答する。
ネットワークの時間スケールを調整することは特定のタスクを扱うのに必要であり、効率的な表現のために複数の時間スケールを必要とする環境もある。
ここでは、階層型ESNにおける時間スケールについて検討し、貯水池を異なる性質を持つ2つの小さな連結貯水池に分割する。
3つの異なるタスク (NARMA10, 揮発性環境における再構成タスク, psMNIST) に対して, 各パーティションのハイパーパラメータを選択して, 異なる時間スケールにフォーカスすることにより, 単一ESNよりも大幅な性能向上を実現する。
線形解析により、第1分割の時間スケールが第2のよりもはるかに短い(典型的には最適動作条件に対応する)という仮定の下で、第1分割から第2への入力信号の効果的な表現の観点から分割のフィードフォワード結合を解釈し、即時入力信号をその時間微分の重み付け結合に拡張する。
さらに,時間によるバックプロパゲーションのオンライン近似である勾配降下最適化手法を用いて,ハイパーパラメータを最適化するデータ駆動手法を提案する。
本研究は,オンライン学習規則の適用を,検討対象のすべてのタスクに適用した。
関連論文リスト
- SineNet: Learning Temporal Dynamics in Time-Dependent Partial Differential Equations [46.244771659503314]
本稿では、複数の連続接続されたU字型ネットワークブロックからなるSineNetを提案する。
SineNetでは、高解像度の機能は、複数のステージを通じて徐々に進化し、各ステージ内でのミスアライメントの量を減らす。
提案手法は,Navier-Stokes方程式や浅水方程式など,複数のPDEデータセット上で厳密に検証されている。
論文 参考訳（メタデータ） (2024-03-28T15:41:41Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-15T08:17:18Z) - Efficient Parametric Approximations of Neural Network Function Space
Distance [6.117371161379209]
モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。
我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。
本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
論文 参考訳（メタデータ） (2023-02-07T15:09:23Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳（メタデータ） (2022-12-08T18:59:57Z) - ZoPE: A Fast Optimizer for ReLU Networks with Low-Dimensional Inputs [30.34898838361206]
低次元入力を持つフィードフォワードReLUネットワークの出力に対する最適化問題を解くZoPEアルゴリズムを提案する。
我々はZoPEを用いて、ACAS Xuニューラルネットワーク検証ベンチマークのプロパティ1における25倍の高速化と、一連の線形最適化問題に対する85倍の高速化を観察した。
論文 参考訳（メタデータ） (2021-06-09T18:36:41Z) - Multi-Time-Scale Input Approaches for Hourly-Scale Rainfall-Runoff
Modeling based on Recurrent Neural Networks [0.0]
繰り返しニューラルネットワーク(RNN)による時系列モデリングに必要な計算時間を削減する2つの手法を提案する。
1つのアプローチは、RNNに並列に入力時系列の粗い時間分解を提供する。
その結果,提案手法のどちらも,RNNのトレーニングに要する時間を大幅に短縮できることを確認した。
論文 参考訳（メタデータ） (2021-01-30T07:51:55Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic
Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。
提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。
また、現在の最先端よりも推論速度を25%以上向上させる。
論文 参考訳（メタデータ） (2020-11-26T14:56:57Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned
Subspaces [0.0]
我々は、"Pairwise Neural Network"(PairNet)と呼ばれる、浅い4層ANNを作成する。
各入力の値は複数の間隔に分割され、n-次元空間は M n-次元部分空間に分割される。
M 局所 PairNet は M 分割局所 n-次元部分空間で構築される。
論文 参考訳（メタデータ） (2020-01-24T05:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。