Fugu-MT 論文翻訳(概要): Investigation of Proper Orthogonal Decomposition for Echo State Networks

論文の概要: Investigation of Proper Orthogonal Decomposition for Echo State Networks

arxiv url: http://arxiv.org/abs/2211.17179v2
Date: Fri, 2 Dec 2022 15:23:37 GMT
ステータス: 処理完了
システム内更新日: 2022-12-05 13:18:25.314278
Title: Investigation of Proper Orthogonal Decomposition for Echo State Networks
Title（参考訳）: エコー状態ネットワークにおける適切な直交分解の検討
Authors: Jean Panaioti Jordanou, Eric Aislan Antonelo, Eduardo Camponogara, Eduardo Gildin
Abstract要約: 本研究では,Echo State NetworksにおけるPOD手法の性能を調査・解析し,その有効性を検証した。その結果,オリジナルのESNとPODを再現したESNとの比較では性能がほとんど損なわれず,PODを再現したESNの性能は,同じ大きさの通常のESNよりも優れていることが示された。
参考スコア（独自算出の注目度）: 3.645570876484422
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Echo State Networks (ESN) are a type of Recurrent Neural Networks that yields promising results in representing time series and nonlinear dynamic systems. Although they are equipped with a very efficient training procedure, Reservoir Computing strategies, such as the ESN, require the use of high order networks, i.e. large number of layers, resulting in number of states that is magnitudes higher than the number of model inputs and outputs. This not only makes the computation of a time step more costly, but also may pose robustness issues when applying ESNs to problems such as Model Predictive Control (MPC) and other optimal control problems. One such way to circumvent this is through Model Order Reduction strategies such as the Proper Orthogonal Decomposition (POD) and its variants (POD-DEIM), whereby we find an equivalent lower order representation to an already trained high dimension ESN. The objective of this work is to investigate and analyze the performance of POD methods in Echo State Networks, evaluating their effectiveness. To this end, we evaluate the Memory Capacity (MC) of the POD-reduced network in comparison to the original (full order) ENS. We also perform experiments on two different numerical case studies: a NARMA10 difference equation and an oil platform containing two wells and one riser. The results show that there is little loss of performance comparing the original ESN to a POD-reduced counterpart, and also that the performance of a POD-reduced ESN tend to be superior to a normal ESN of the same size. Also we attain speedups of around $80\%$ in comparison to the original ESN.
Abstract（参考訳）: エコー状態ネットワーク(英: echo state networks、esn)は、時系列および非線形力学系を表現する有望な結果をもたらす再帰ニューラルネットワークの一種である。非常に効率的なトレーニング手順を備えているが、ESNのようなReservoir Computingの戦略では、高階ネットワーク、すなわち多数の層を使用する必要がある。これは時間の計算をよりコストのかかるものにするだけでなく、モデル予測制御(MPC)や他の最適制御問題にESNを適用する際の堅牢性の問題を引き起こす可能性がある。このような回避策の1つは、適切な直交分解(POD)とその変種(POD-DEIM)のようなモデル次数削減戦略により、既に訓練された高次元ESNと等価な下位次数表現を見つけることである。本研究の目的は,Echo State NetworksにおけるPOD手法の性能を調査・解析し,その有効性を評価することである。そこで我々は,POD-Reduced Networkのメモリ容量(MC)を,元の(全順序)ENSと比較して評価した。また,narma10差分式と2つの井戸と1つのライザーを含む油プラットフォームという2つの異なる数値実験を行った。その結果,オリジナルのESNとPODを再現したESNとの比較では性能がほとんど損なわれず,PODを再現したESNの性能は同一サイズの通常のESNよりも優れていた。また、元のESNと比較して約80\%のスピードアップを実現しました。

関連論文リスト

Physics-Informed Echo State Networks for Modeling Controllable Dynamical Systems [0.0]
物理インフォームドESN (PI-ESN) は、外部入力のないカオス力学系をモデル化するために最初に提案された。 PI-ESNは、いくつかのデータポイントで以前にトレーニングされた外部入力でESNモデルを正規化することができ、過度な適合を低減し、一般化エラーを改善することができる。
論文参考訳（メタデータ） (2024-09-27T21:06:24Z)
Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
論文参考訳（メタデータ） (2024-06-21T03:21:22Z)
Improving the Performance of Echo State Networks Through Feedback [0.0]
非線形力学系を用いた貯留層計算は、ニューラルネットワークに代わる費用対効果を提供する。 ESNの潜在的な欠点は、固定された貯水池が特定の問題に必要な複雑さを提供していないことである。本稿では, 貯留状態の一部の成分を入力を介してネットワークにフィードバックすることにより, 所定のESNの性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-12-23T02:34:50Z)
Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文参考訳（メタデータ） (2023-03-24T10:05:22Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Inducing Early Neural Collapse in Deep Neural Networks for Improved Out-of-Distribution Detection [0.9558392439655015]
本稿では,標準ResNetアーキテクチャの簡易な修正,すなわち機能空間上のL2正規化を提案する。この変化は初期のニューラル・コラプス(NC)も引き起こし、より優れたOoD性能が期待できる効果を示す。
論文参考訳（メタデータ） (2022-09-17T17:46:06Z)
Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
論文参考訳（メタデータ） (2022-07-15T14:34:22Z)
Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文参考訳（メタデータ） (2020-11-17T12:52:18Z)
Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文参考訳（メタデータ） (2020-05-20T11:11:47Z)
GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-04-20T10:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。