論文の概要: Interpretable Design of Reservoir Computing Networks using Realization Theory

• arxiv url: http://arxiv.org/abs/2112.06891v1
• Date: Mon, 13 Dec 2021 18:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 19:56:56.756438
• Title: Interpretable Design of Reservoir Computing Networks using Realization Theory
• Title（参考訳）: 実現理論を用いた貯留層ネットワークの解釈可能設計
• Authors: Wei Miao, Vignesh Narayanan, Jr-Shin Li
• Abstract要約: 貯留層コンピューティングネットワーク(RCN)は、学習と複雑な意思決定タスクのツールとして成功している。 線形力学系の実現理論を用いてRCNを設計するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 5.607676459156789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reservoir computing networks (RCNs) have been successfully employed as a tool in learning and complex decision-making tasks. Despite their efficiency and low training cost, practical applications of RCNs rely heavily on empirical design. In this paper, we develop an algorithm to design RCNs using the realization theory of linear dynamical systems. In particular, we introduce the notion of $\alpha$-stable realization, and provide an efficient approach to prune the size of a linear RCN without deteriorating the training accuracy. Furthermore, we derive a necessary and sufficient condition on the irreducibility of number of hidden nodes in linear RCNs based on the concepts of controllability and observability matrices. Leveraging the linear RCN design, we provide a tractable procedure to realize RCNs with nonlinear activation functions. Finally, we present numerical experiments on forecasting time-delay systems and chaotic systems to validate the proposed RCN design methods and demonstrate their efficacy.
• Abstract（参考訳）: 貯水池コンピューティングネットワーク(RCN)は、学習と複雑な意思決定タスクのツールとして成功している。 その効率性と訓練コストの低さにもかかわらず、RCNの実用化は経験的設計に大きく依存している。 本稿では,線形力学系の実現理論を用いてrcnsを設計するアルゴリズムを開発した。 特に、$\alpha$-stable Realizationの概念を導入し、トレーニング精度を低下させることなく線形RCNのサイズを推定する効率的なアプローチを提供する。 さらに,制御可能性と可観測性行列の概念に基づき,線形rcnにおける隠れノード数の既約性に関する必要十分条件を導出する。 線形RCN設計を応用し、非線形活性化関数を持つRCNを実現するためのトラクタブルな手順を提供する。 最後に,提案したRCN設計手法を検証し,その有効性を示すため,時間遅延システムとカオスシステムの予測に関する数値実験を行った。

関連論文リスト

• Recurrent Stochastic Configuration Networks with Incremental Blocks [0.0]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は、順序の不確実性を伴う非線形力学系のモデリングにおいて、将来性を示す。 本稿では,ブロックインクリメントを持つブロックRCCN(BRSCN)を開発した。 BRSCNは建設中に複数の貯水池ノード(貯水池)を同時に追加することができる。
  論文  参考訳（メタデータ） (2024-11-18T05:58:47Z)
• Deeper Insights into Learning Performance of Stochastic Configuration Networks [3.8719670789415925]
  SCN(Configuration Networks)は、ランダム化されたアルゴリズムをインクリメンタル学習フレームワークに組み込む、ランダム化されたニューラルネットワークのクラスである。 SCNの学習性能に及ぼす監督機構の影響を包括的に分析する。 そこで本研究では,隠れ層の出力行列を評価する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-13T11:45:39Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing [19.995241682744567]
  貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。 RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-04T17:04:13Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Learning to Estimate RIS-Aided mmWave Channels [50.15279409856091]
  そこでは,観測観測のために,既知の基地局とRIS位相制御行列を併用したアップリンクチャネル推定手法を提案する。 推定性能を向上し, トレーニングオーバーヘッドを低減するため, 深部展開法において, mmWaveチャネルの固有チャネル幅を生かした。 提案したディープ・アンフォールディング・ネットワーク・アーキテクチャは,トレーニングオーバーヘッドが比較的小さく,オンライン計算の複雑さも比較的小さく,最小二乗法(LS)法より優れていることが確認された。
  論文  参考訳（メタデータ） (2021-07-27T06:57:56Z)
• Nonlinear MPC for Offset-Free Tracking of systems learned by GRU Neural Networks [0.2578242050187029]
  本稿では,安定な Gated Recurrent Units (GRUs) を MPC フレームワークでトレーニングし,一定の参照のオフセットレストラッキングを保証されたクローズドループ安定性で行う方法について述べる。 提案手法はpH中性化プロセスベンチマークでテストされ,顕著な性能を示した。
  論文  参考訳（メタデータ） (2021-03-03T13:14:33Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。