論文の概要: Can Gradient Descent Provably Learn Linear Dynamic Systems?
- arxiv url: http://arxiv.org/abs/2211.10582v1
- Date: Sat, 19 Nov 2022 04:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:32:39.898906
- Title: Can Gradient Descent Provably Learn Linear Dynamic Systems?
- Title(参考訳): グラディエントDescentはおそらく線形力学系を学習できるか?
- Authors: Lifu Wang, Bo Shen, Bo Hu, Xing Cao
- Abstract要約: 線形Descentネットワークにおける最初の理論的保証を証明した。
我々の結果は線形RNNを学ぶための最初の理論的保証と、ニューラルネットワークが動的システムを学ぶのにどのように役立つかを提供する。
- 参考スコア(独自算出の注目度): 9.13577494535884
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We study the learning ability of linear recurrent neural networks with
gradient descent. We prove the first theoretical guarantee on linear RNNs with
Gradient Descent to learn any stable linear dynamic system. We show that
despite the non-convexity of the optimization loss if the width of the RNN is
large enough (and the required width in hidden layers does not rely on the
length of the input sequence), a linear RNN can provably learn any stable
linear dynamic system with the sample and time complexity polynomial in
$\frac{1}{1-\rho_C}$ where $\rho_C$ is roughly the spectral radius of the
stable system. Our results provide the first theoretical guarantee to learn a
linear RNN and demonstrate how can the recurrent structure help to learn a
dynamic system.
- Abstract(参考訳): 勾配降下を伴う線形リカレントニューラルネットワークの学習能力について検討した。
線形力学系を安定に学習するグラディエント Descent を用いた線形 RNN に関する最初の理論的保証を証明した。
rnn の幅が十分大きい(かつ隠れた層で必要とされる幅が入力列の長さに依存しない)場合、最適化損失の非凸性にもかかわらず、線形 rnn は、サンプルと時間複雑性多項式を用いた任意の安定線形力学系を $\frac{1}{1-\rho_c}$ (ここで $\rho_c$ は安定系のスペクトル半径の略である) で確実に学習することができる。
その結果,線形RNNを学習するための理論的保証を初めて提供し,リカレント構造が動的システムの学習にどのように役立つかを実証した。
関連論文リスト
- Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。
私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
論文 参考訳(メタデータ) (2024-07-01T12:57:03Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
論文 参考訳(メタデータ) (2022-07-06T09:43:03Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳(メタデータ) (2022-06-15T22:42:29Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳(メタデータ) (2022-03-22T13:09:17Z) - Metric Entropy Limits on Recurrent Neural Network Learning of Linear
Dynamical Systems [0.0]
RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。
差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
論文 参考訳(メタデータ) (2021-05-06T10:12:30Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Implicit Bias of Linear RNNs [27.41989861342218]
リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。
本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。
近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
論文 参考訳(メタデータ) (2021-01-19T19:39:28Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。