論文の概要: Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2305.19190v4
- Date: Tue, 6 Feb 2024 13:19:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 20:52:17.500849
- Title: Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
- Title(参考訳): 非線形リカレントニューラルネットワークの逆近似理論
- Authors: Shida Wang, Zhong Li and Qianxiao Li
- Abstract要約: 我々は、リカレントニューラルネットワーク(RNN)を用いた非線形列列列関係の近似に対する逆近似定理を証明した。
非線形RNNによって安定に近似できる非線形シーケンス関係は指数的に減衰するメモリ構造を持つ必要があることを示す。
これにより、線形RNNにおける以前同定されたメモリの呪いが一般的な非線形設定に拡張される。
- 参考スコア(独自算出の注目度): 28.840757822712195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove an inverse approximation theorem for the approximation of nonlinear
sequence-to-sequence relationships using recurrent neural networks (RNNs). This
is a so-called Bernstein-type result in approximation theory, which deduces
properties of a target function under the assumption that it can be effectively
approximated by a hypothesis space. In particular, we show that nonlinear
sequence relationships that can be stably approximated by nonlinear RNNs must
have an exponential decaying memory structure - a notion that can be made
precise. This extends the previously identified curse of memory in linear RNNs
into the general nonlinear setting, and quantifies the essential limitations of
the RNN architecture for learning sequential relationships with long-term
memory. Based on the analysis, we propose a principled reparameterization
method to overcome the limitations. Our theoretical results are confirmed by
numerical experiments. The code has been released in
https://github.com/radarFudan/Curse-of-memory
- Abstract(参考訳): 本研究では,recurrent neural network (rnns) を用いた非線形シーケンス-シーケンス関係の近似に対する逆近似定理を証明した。
これはいわゆるベルンシュタイン型近似理論の結果であり、仮説空間によって効果的に近似できるという仮定の下で対象関数の性質を推論する。
特に、非線形RNNによって安定に近似できる非線形シーケンス関係は、指数関数的に減衰するメモリ構造を持つ必要がある。
これは線形rnnにおけるメモリの呪いを一般的な非線形設定に拡張し、長期記憶とのシーケンシャルな関係を学習するためのrnnアーキテクチャの本質的な制限を定量化する。
そこで本研究では,その限界を克服する原理的パラメータ化手法を提案する。
理論的結果は数値実験によって確認される。
コードはhttps://github.com/radarfudan/curse-of-memoryでリリースされている。
関連論文リスト
- A Novel Explanation Against Linear Neural Networks [1.223779595809275]
線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。
活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。
この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
論文 参考訳(メタデータ) (2023-12-30T09:44:51Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳(メタデータ) (2023-01-16T02:57:37Z) - MP-GELU Bayesian Neural Networks: Moment Propagation by GELU
Nonlinearity [0.0]
本稿では,BNNにおける第1モーメントと第2モーメントの高速な導出を可能にする,モーメント伝搬・ガウス誤差線形単位(MP-GELU)という非線形関数を提案する。
MP-GELUは、ReLUベースのBNNよりも高速な実行で予測精度が高く、不確実性の品質も向上する。
論文 参考訳(メタデータ) (2022-11-24T03:37:29Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Framing RNN as a kernel method: A neural ODE approach [11.374487003189468]
我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。
我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
論文 参考訳(メタデータ) (2021-06-02T14:46:40Z) - Implicit Bias of Linear RNNs [27.41989861342218]
リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。
本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。
近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
論文 参考訳(メタデータ) (2021-01-19T19:39:28Z) - On the Curse of Memory in Recurrent Neural Networks: Approximation and
Optimization Analysis [32.520928242828525]
本稿では,線形関係から生成されたデータから連続時間線形RNNを学習するための単純だが代表的な設定について考察する。
このような線形汎函数の普遍近似定理を証明し、近似率とそのメモリとの関係を特徴づける。
統一されたテーマはメモリの非自明な効果であり、これは我々のフレームワークで正確に記述できる概念である。
論文 参考訳(メタデータ) (2020-09-16T16:48:28Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳(メタデータ) (2020-08-19T12:35:55Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。