論文の概要: Investigation of Proper Orthogonal Decomposition for Echo State Networks
- arxiv url: http://arxiv.org/abs/2211.17179v3
- Date: Fri, 26 May 2023 17:41:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 23:08:33.850484
- Title: Investigation of Proper Orthogonal Decomposition for Echo State Networks
- Title（参考訳）: エコー状態ネットワークにおける適切な直交分解の検討
- Authors: Jean Panaioti Jordanou, Eric Aislan Antonelo, Eduardo Camponogara,
Eduardo Gildin
- Abstract要約: エコー状態ネットワーク(英語: Echo State Networks, ESN)は、時系列および非線形力学系を表現するための有望な結果をもたらすリカレントニューラルネットワークの一種である。
多くの状態は、時間ステップの計算をよりコストが高くするだけでなく、堅牢性の問題を引き起こす可能性がある。
この問題を回避するための1つの方法は、適切な直交分解(POD)とその変種(POD-DEIM)のようなモデル秩序化戦略である。
- 参考スコア（独自算出の注目度）: 3.645570876484422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Echo State Networks (ESN) are a type of Recurrent Neural Network that yields
promising results in representing time series and nonlinear dynamic systems.
Although they are equipped with a very efficient training procedure, Reservoir
Computing strategies, such as the ESN, require high-order networks, i.e., many
neurons, resulting in a large number of states that are magnitudes higher than
the number of model inputs and outputs. A large number of states not only makes
the time-step computation more costly but also may pose robustness issues,
especially when applying ESNs to problems such as Model Predictive Control
(MPC) and other optimal control problems. One way to circumvent this complexity
issue is through Model Order Reduction strategies such as the Proper Orthogonal
Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent
lower order representation to an already trained high dimension ESN. To this
end, this work aims to investigate and analyze the performance of POD methods
in Echo State Networks, evaluating their effectiveness through the Memory
Capacity (MC) of the POD-reduced network compared to the original (full-order)
ESN. We also perform experiments on two numerical case studies: a NARMA10
difference equation and an oil platform containing two wells and one riser. The
results show that there is little loss of performance comparing the original
ESN to a POD-reduced counterpart and that the performance of a POD-reduced ESN
tends to be superior to a normal ESN of the same size. Also, the POD-reduced
network achieves speedups of around $80\%$ compared to the original ESN.
- Abstract（参考訳）: エコー状態ネットワーク(英: Echo State Networks、ESN)は、時系列および非線形力学系を表現するための有望な結果をもたらすリカレントニューラルネットワークの一種である。
それらは非常に効率的なトレーニング手順を備えているが、esnのようなリザーバコンピューティング戦略は、高次ネットワーク、すなわち多くのニューロンを必要とする。
特にモデル予測制御(MPC)やその他の最適制御問題にESNを適用する際には、多くの状態が時間ステップ計算をよりコストがかかるだけでなく、堅牢性の問題を引き起こす可能性がある。
この問題を回避するための1つの方法は、適切な直交分解(POD)とその変種(POD-DEIM)のようなモデル秩序化戦略を通じて、既に訓練された高次元ESNに等価な低次表現を見つけることである。
本研究の目的は,Echo State Networks における POD 手法の性能を調査・解析することであり,元の (全順序) ESN と比較してPOD-Reduced Network の Memory Capacity (MC) を用いて評価することである。
また,narma10差分式と2つの井戸と1つのライザーを含む油プラットフォームについて,数値実験を行った。
その結果,オリジナルのESNとPODを再現したESNとの比較では性能がほとんど損なわれず,PODを再現したESNの性能は,同じ大きさの通常のESNよりも優れている傾向にあることがわかった。
また、POD-reduced ネットワークは元の ESN と比較して約80\% のスピードアップを実現している。
関連論文リスト
- Physics-Informed Echo State Networks for Modeling Controllable Dynamical Systems [0.0]
物理インフォームドESN (PI-ESN) は、外部入力のないカオス力学系をモデル化するために最初に提案された。
PI-ESNは、いくつかのデータポイントで以前にトレーニングされた外部入力でESNモデルを正規化することができ、過度な適合を低減し、一般化エラーを改善することができる。
論文 参考訳（メタデータ） (2024-09-27T21:06:24Z) - Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。
我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。
数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
論文 参考訳（メタデータ） (2024-06-21T03:21:22Z) - Improving the Performance of Echo State Networks Through Feedback [0.0]
非線形力学系を用いた貯留層計算は、ニューラルネットワークに代わる費用対効果を提供する。
ESNの潜在的な欠点は、固定された貯水池が特定の問題に必要な複雑さを提供していないことである。
本稿では, 貯留状態の一部の成分を入力を介してネットワークにフィードバックすることにより, 所定のESNの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-12-23T02:34:50Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳（メタデータ） (2023-03-24T10:05:22Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Inducing Early Neural Collapse in Deep Neural Networks for Improved
Out-of-Distribution Detection [0.9558392439655015]
本稿では,標準ResNetアーキテクチャの簡易な修正,すなわち機能空間上のL2正規化を提案する。
この変化は初期のニューラル・コラプス(NC)も引き起こし、より優れたOoD性能が期待できる効果を示す。
論文 参考訳（メタデータ） (2022-09-17T17:46:06Z) - Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。
これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
論文 参考訳（メタデータ） (2022-07-15T14:34:22Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。