Fugu-MT 論文翻訳(概要): Linear RNNs Provably Learn Linear Dynamic Systems

論文の概要: Linear RNNs Provably Learn Linear Dynamic Systems

arxiv url: http://arxiv.org/abs/2211.10582v2
Date: Mon, 23 Oct 2023 02:46:13 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 14:37:37.211821
Title: Linear RNNs Provably Learn Linear Dynamic Systems
Title（参考訳）: リニアRNNはおそらくリニア力学系を学習する
Authors: Lifu Wang, Tianyu Wang, Shengwei Yi, Bo Shen, Bo Hu, Xing Cao
Abstract要約: 線形RNNにおいて、安定な力学系を学習するための最初の理論的保証を証明した。その結果,線形RNNを学習するための理論的保証を初めて提供し,システムの学習に役立てることができることを示す。
参考スコア（独自算出の注目度）: 14.919504424152292
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We study the learning ability of linear recurrent neural networks with Gradient Descent. We prove the first theoretical guarantee on linear RNNs to learn any stable linear dynamic system using any a large type of loss functions. For an arbitrary stable linear system with a parameter $\rho_C$ related to the transition matrix $C$, we show that despite the non-convexity of the parameter optimization loss if the width of the RNN is large enough (and the required width in hidden layers does not rely on the length of the input sequence), a linear RNN can provably learn any stable linear dynamic system with the sample and time complexity polynomial in $\frac{1}{1-\rho_C}$. Our results provide the first theoretical guarantee to learn a linear RNN and demonstrate how can the recurrent structure help to learn a dynamic system.
Abstract（参考訳）: 勾配降下を伴うリニアリカレントニューラルネットワークの学習能力について検討した。線形RNNに対する最初の理論的保証は、大きな種類の損失関数を用いて安定な線形力学系を学ぶことである。遷移行列 $C$ に関連するパラメータ $\rho_C$ の任意の安定線形系に対して、RNN の幅が十分に大きい場合(かつ隠れた層における所要の幅は入力シーケンスの長さに依存しない)パラメータ最適化損失の非凸性にもかかわらず、線形 RNN は $\frac{1}{1-\rho_C}$ のサンプルと時間複雑性多項式を持つ任意の安定線型力学系を確実に学習できることを示す。その結果,線形RNNを学習するための理論的保証を初めて提供し,リカレント構造が動的システムの学習にどのように役立つかを実証した。

関連論文リスト

Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction [8.473495734873872]
本稿では,時系列データから動的システム(DS)のPWL表現を自動的かつ堅牢に生成する,ニアリカレントニューラルネットワーク(AL-RNN)を提案する。 AL-RNNは、動的システム再構成(DSR)のための任意のSOTAアルゴリズムで効率的に訓練できる我々は,ロレンツとR"オスラー系に対して,AL-RNNが純粋にデータ駆動方式で,対応するカオスアトラクションの位相的に最小のPWL表現を発見することを示す。
論文参考訳（メタデータ） (2024-10-18T07:44:12Z)
Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
論文参考訳（メタデータ） (2024-07-01T12:57:03Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
論文参考訳（メタデータ） (2022-07-06T09:43:03Z)
Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文参考訳（メタデータ） (2022-06-15T22:42:29Z)
Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文参考訳（メタデータ） (2022-03-22T13:09:17Z)
Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文参考訳（メタデータ） (2021-05-06T10:12:30Z)
Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文参考訳（メタデータ） (2021-04-11T16:37:32Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。