論文の概要: Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2508.21172v1
- Date: Thu, 28 Aug 2025 19:22:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:10.858552
- Title: Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
- Title（参考訳）: 深部残留エコー状態ネットワーク:未学習リカレントニューラルネットワークにおける残留直交接続の探索
- Authors: Matteo Pinna, Andrea Ceni, Claudio Gallicchio,
- Abstract要約: 我々は、Deep Residual Echo State Networks (DeepResESNs)と呼ばれる、時間的残差接続に基づく深層学習RNNのクラスを導入する。
本研究では,未学習残層階層の階層化がメモリ容量と長期時間的モデリングを著しく向上させることを示す。
詳細な数学的解析では、DeepResESN内の安定なダイナミクスを保証するために必要で十分な条件を概説している。
- 参考スコア（独自算出の注目度）: 11.580917935783033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Echo State Networks (ESNs) are a particular type of untrained Recurrent Neural Networks (RNNs) within the Reservoir Computing (RC) framework, popular for their fast and efficient learning. However, traditional ESNs often struggle with long-term information processing. In this paper, we introduce a novel class of deep untrained RNNs based on temporal residual connections, called Deep Residual Echo State Networks (DeepResESNs). We show that leveraging a hierarchy of untrained residual recurrent layers significantly boosts memory capacity and long-term temporal modeling. For the temporal residual connections, we consider different orthogonal configurations, including randomly generated and fixed-structure configurations, and we study their effect on network dynamics. A thorough mathematical analysis outlines necessary and sufficient conditions to ensure stable dynamics within DeepResESN. Our experiments on a variety of time series tasks showcase the advantages of the proposed approach over traditional shallow and deep RC.
- Abstract（参考訳）: Echo State Networks (ESN) はReservoir Computing (RC) フレームワークの中で、訓練されていないリカレントニューラルネットワーク(RNN)の一種であり、高速で効率的な学習で人気がある。
しかし、従来のESNは長期的な情報処理に苦戦することが多い。
本稿では,Deep Residual Echo State Networks (DeepResESNs) と呼ばれる,時間的残差接続に基づく新しい非トレーニング型RNNについて紹介する。
本研究では,未学習残層階層の階層化がメモリ容量と長期時間的モデリングを著しく向上させることを示す。
時間的残差接続については、ランダムに生成された構造や固定構造を含む異なる直交構成を考慮し、それらのネットワーク力学への影響について検討する。
詳細な数学的解析では、DeepResESN内の安定なダイナミクスを保証するために必要で十分な条件を概説している。
様々な時系列タスクに関する実験は,従来の浅層・深層RCに対する提案手法の利点を示す。
関連論文リスト
- Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate
Networks [30.92757082348805]
ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。
NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
論文 参考訳（メタデータ） (2024-02-07T12:06:52Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Hybrid Backpropagation Parallel Reservoir Networks [8.944918753413827]
本稿では,貯水池のランダムな時間的特徴と深層ニューラルネットワークの読み出し能力と,バッチ正規化を併用した新しいハイブリッドネットワークを提案する。
我々の新しいネットワークはLSTMやGRUよりも優れていることを示す。
また, HBP-ESN M-Ring と呼ばれる新しいメタリング構造を組み込むことで, 1つの大きな貯水池に類似した性能を実現し, メモリ容量の最大化を図っている。
論文 参考訳（メタデータ） (2020-10-27T21:03:35Z) - SRDCNN: Strongly Regularized Deep Convolution Neural Network
Architecture for Time-series Sensor Signal Classification Tasks [4.950427992960756]
SRDCNN: 時系列分類タスクを実行するために, SRDCNN(Strongly Regularized Deep Convolution Neural Network)をベースとしたディープアーキテクチャを提案する。
提案手法の新規性は、ネットワークウェイトが L1 と L2 のノルム法則によって正則化されることである。
論文 参考訳（メタデータ） (2020-07-14T08:42:39Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳（メタデータ） (2020-03-23T10:29:14Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。