論文の概要: Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems

• arxiv url: http://arxiv.org/abs/2105.02556v1
• Date: Thu, 6 May 2021 10:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 13:10:28.526076
• Title: Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems
• Title（参考訳）: 線形力学系のリカレントニューラルネットワーク学習における計量エントロピー限界
• Authors: Clemens Hutter, Recep G\"ul, Helmut B\"olcskei
• Abstract要約: RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。 差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most influential results in neural network theory is the universal approximation theorem [1, 2, 3] which states that continuous functions can be approximated to within arbitrary accuracy by single-hidden-layer feedforward neural networks. The purpose of this paper is to establish a result in this spirit for the approximation of general discrete-time linear dynamical systems - including time-varying systems - by recurrent neural networks (RNNs). For the subclass of linear time-invariant (LTI) systems, we devise a quantitative version of this statement. Specifically, measuring the complexity of the considered class of LTI systems through metric entropy according to [4], we show that RNNs can optimally learn - or identify in system-theory parlance - stable LTI systems. For LTI systems whose input-output relation is characterized through a difference equation, this means that RNNs can learn the difference equation from input-output traces in a metric-entropy optimal manner.
• Abstract（参考訳）: ニューラルネットワーク理論における最も影響力のある結果の1つは普遍近似定理 [1, 2, 3] であり、連続関数は単層フィードフォワードニューラルネットワークによって任意の精度で近似することができる。 本論文の目的は,リカレントニューラルネットワーク(recurrent neural networks,rnns)による時間変動系を含む一般離散時間線形力学系の近似に関する結果の確立である。 線形時間不変系(LTI)のサブクラスについては、この文の定量的バージョンを考案する。 具体的には, [4] による計量エントロピーによるLTIシステムの複雑性を計測することにより, RNN がシステム理論で解析可能な LTI システムで最適に学習し,特定できることを示す。 入力-出力関係が差分方程式によって特徴づけられるlti系では、rnnはメトリック-エントロピー最適方法で入力-出力トレースから差分方程式を学習することができる。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
  本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。 私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
  論文  参考訳（メタデータ） (2024-07-01T12:57:03Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Recurrent Neural Networks for Dynamical Systems: Applications to Ordinary Differential Equations, Collective Motion, and Hydrological Modeling [0.20999222360659606]
  各タスクでRNNを個別に訓練・テストし、動的システムの力学を再現・予測するためのRNNの広範な適用性を実証する。 誤差定式化によるシステムに対する正しいロレンツ解の再構成、破損した集合運動の再構築、軌道、スパイクを有するストリームフロー時系列の予測という3つのタスクに適用されたRNNの性能を分析した。
  論文  参考訳（メタデータ） (2022-02-14T20:34:49Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• The Power of Linear Recurrent Neural Networks [1.124958340749622]
  自己回帰線形,すなわち線形活性化リカレントニューラルネットワーク(LRNN)が,任意の時間依存関数f(t)を近似できることを示す。 LRNNは、最小限のユニット数でMSOタスクのこれまでの最先端を上回ります。
  論文  参考訳（メタデータ） (2018-02-09T15:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。