論文の概要: Inverse Approximation Theory for Nonlinear Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2305.19190v2
• Date: Sat, 19 Aug 2023 02:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 23:33:19.515351
• Title: Inverse Approximation Theory for Nonlinear Recurrent Neural Networks
• Title（参考訳）: 非線形リカレントニューラルネットワークの逆近似理論
• Authors: Shida Wang, Zhong Li and Qianxiao Li
• Abstract要約: RNNを用いた非線形列列列関係の近似に対する逆近似定理を証明した。 ハードタン/タンアクティベーションを持つRNNによって安定に近似できる非線形シーケンス関係は、指数関数的に減衰するメモリ構造を持つ必要があることを示す。
• 参考スコア（独自算出の注目度）: 28.840757822712195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove an inverse approximation theorem for the approximation of nonlinear sequence-to-sequence relationships using RNNs. This is a so-called Bernstein-type result in approximation theory, which deduces properties of a target function under the assumption that it can be effectively approximated by a hypothesis space. In particular, we show that nonlinear sequence relationships, viewed as functional sequences, that can be stably approximated by RNNs with hardtanh/tanh activations must have an exponential decaying memory structure -- a notion that can be made precise. This extends the previously identified curse of memory in linear RNNs into the general nonlinear setting, and quantifies the essential limitations of the RNN architecture for learning sequential relationships with long-term memory. Based on the analysis, we propose a principled reparameterization method to overcome the limitations. Our theoretical results are confirmed by numerical experiments.
• Abstract（参考訳）: RNNを用いた非線形列列列関係の近似に対する逆近似定理を証明した。 これはいわゆるベルンシュタイン型近似理論の結果であり、仮説空間によって効果的に近似できるという仮定の下で対象関数の性質を推論する。 特に、ハードタン/タンの活性化を持つrnnによって安定に近似できる関数列と見なされる非線形列関係は指数関数的減衰記憶構造を持つ必要がある。 これは線形rnnにおけるメモリの呪いを一般的な非線形設定に拡張し、長期記憶とのシーケンシャルな関係を学習するためのrnnアーキテクチャの本質的な制限を定量化する。 そこで本研究では,その限界を克服する原理的パラメータ化手法を提案する。 理論的結果は数値実験によって確認される。

関連論文リスト

• Approximation Bounds for Recurrent Neural Networks with Application to Regression [7.723218675113336]
  深部ReLUリカレントニューラルネットワーク(RNN)の近似能力について検討し,RNNを用いた非パラメトリック最小二乗回帰の収束特性について検討した。 H" の滑らかな関数に対する RNN の近似誤差の上限を導出する。 以上の結果から,RNNの性能に関する統計的保証が得られる。
  論文  参考訳（メタデータ） (2024-09-09T13:02:50Z)
• Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
  本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。 私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
  論文  参考訳（メタデータ） (2024-07-01T12:57:03Z)
• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Implicit Bias of Linear RNNs [27.41989861342218]
  リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。 本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。 近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
  論文  参考訳（メタデータ） (2021-01-19T19:39:28Z)
• On the Curse of Memory in Recurrent Neural Networks: Approximation and Optimization Analysis [30.75240284934018]
  本稿では,線形関係から生成されたデータから連続時間線形RNNを学習するための単純だが代表的な設定について考察する。 このような線形汎函数の普遍近似定理を証明し、近似率とそのメモリとの関係を特徴づける。 統一されたテーマはメモリの非自明な効果であり、これは我々のフレームワークで正確に記述できる概念である。
  論文  参考訳（メタデータ） (2020-09-16T16:48:28Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。