論文の概要: Evolutionary Echo State Network: evolving reservoirs in the Fourier space

• arxiv url: http://arxiv.org/abs/2206.04951v1
• Date: Fri, 10 Jun 2022 08:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:23:21.683738
• Title: Evolutionary Echo State Network: evolving reservoirs in the Fourier space
• Title（参考訳）: 進化的エコー状態ネットワーク:フーリエ空間の進化的貯水池
• Authors: Sebastian Basterrech, Gerardo Rubino
• Abstract要約: エコー状態ネットワーク(英語: Echo State Network, ESN)は、多数の隠れ隠れ重みを持つリカレントニューラルネットワークのクラスである(いわゆる貯水池)。 本研究では、フーリエ空間の貯水量を表すESN型の新しい計算モデルを提案し、周波数領域に遺伝的アルゴリズムを適用することで、これらの重みを微調整する。
• 参考スコア（独自算出の注目度）: 1.7658686315825685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The Echo State Network (ESN) is a class of Recurrent Neural Network with a large number of hidden-hidden weights (in the so-called reservoir). Canonical ESN and its variations have recently received significant attention due to their remarkable success in the modeling of non-linear dynamical systems. The reservoir is randomly connected with fixed weights that don't change in the learning process. Only the weights from reservoir to output are trained. Since the reservoir is fixed during the training procedure, we may wonder if the computational power of the recurrent structure is fully harnessed. In this article, we propose a new computational model of the ESN type, that represents the reservoir weights in the Fourier space and performs a fine-tuning of these weights applying genetic algorithms in the frequency domain. The main interest is that this procedure will work in a much smaller space compared to the classical ESN, thus providing a dimensionality reduction transformation of the initial method. The proposed technique allows us to exploit the benefits of the large recurrent structure avoiding the training problems of gradient-based method. We provide a detailed experimental study that demonstrates the good performances of our approach with well-known chaotic systems and real-world data.
• Abstract（参考訳）: エコー状態ネットワーク(英: echo state network、esn)は、大量の隠れた重み(いわゆる貯水池)を持つリカレントニューラルネットワークの一種である。 カノニカルESNとその変種は、非線形力学系のモデリングにおいて顕著な成功を収めたため、近年大きな注目を集めている。 貯水池は学習過程で変化しない固定重量とランダムに結びついています。 貯水池から出力までの重量のみを訓練する。 トレーニング手順中に貯留層が固定されているため,再帰構造の計算能力が十分に活用されているかどうか疑問視する。 本稿では,フーリエ空間の貯留層重みを表現し,周波数領域に遺伝的アルゴリズムを適用することで,これらの重みを微調整する,esnタイプの新しい計算モデルを提案する。 主な関心は、この手順が古典的 ESN よりもはるかに小さな空間で機能し、初期法の次元的還元変換をもたらすことである。 提案手法は,勾配に基づく手法のトレーニング問題を回避するため,大規模再帰構造の利点を活用できる。 我々は,よく知られたカオスシステムと実世界のデータを用いて,このアプローチの優れた性能を示す詳細な実験研究を行った。

関連論文リスト

• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• NUPES : Non-Uniform Post-Training Quantization via Power Exponent Search [7.971065005161565]
  量子化は浮動小数点表現を低ビット幅の固定点表現に変換する技術である。 量子化空間全体にわたって新しい量子化重みを学習する方法を示す。 本研究では,データフリーとデータ駆動の両構成において,最先端の圧縮率を実現する手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-08-10T14:19:58Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Approximation Bounds for Random Neural Networks and Reservoir Systems [8.143750358586072]
  本研究は、ランダムに生成された内部重みを持つ単層フィードフォワードおよび繰り返しニューラルネットワークに基づく近似について研究する。 特に、ランダムに生成された重みを持つエコー状態ネットワークは、広い種類の力学系を任意に近似することができることを証明している。
  論文  参考訳（メタデータ） (2020-02-14T09:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。