論文の概要: Metric-Entropy Limits on Nonlinear Dynamical System Learning

• arxiv url: http://arxiv.org/abs/2407.01250v1
• Date: Mon, 1 Jul 2024 12:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:39:54.705016
• Title: Metric-Entropy Limits on Nonlinear Dynamical System Learning
• Title（参考訳）: 非線形力学系学習における計量エントロピー限界
• Authors: Yang Pan, Clemens Hutter, Helmut Bölcskei,
• Abstract要約: 本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。 私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
• 参考スコア（独自算出の注目度）: 4.069144210024563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with the fundamental limits of nonlinear dynamical system learning from input-output traces. Specifically, we show that recurrent neural networks (RNNs) are capable of learning nonlinear systems that satisfy a Lipschitz property and forget past inputs fast enough in a metric-entropy optimal manner. As the sets of sequence-to-sequence maps realized by the dynamical systems we consider are significantly more massive than function classes generally considered in deep neural network approximation theory, a refined metric-entropy characterization is needed, namely in terms of order, type, and generalized dimension. We compute these quantities for the classes of exponentially-decaying and polynomially-decaying Lipschitz fading-memory systems and show that RNNs can achieve them.
• Abstract（参考訳）: 本稿では,入力-出力トレースからの非線形力学系学習の基本的な限界について考察する。 具体的には、リカレントニューラルネットワーク(RNN)は、リプシッツ特性を満たす非線形系を学習し、計量エントロピーの最適方法で過去の入力を十分に早く忘れることができることを示す。 力学系によって実現されるシーケンス・ツー・シーケンス・マップの集合は、ディープニューラルネットワーク近似理論において一般的に考慮される関数類よりもはるかに大きいため、洗練された計量エントロピー特性、すなわち順序、型、一般化次元が必要とされる。 指数退化型および多項式退化型リプシッツファージングメモリのクラスに対してこれらの量を計算することにより、RNNがそれらを実現できることを示す。

関連論文リスト

• Koopman-based Deep Learning for Nonlinear System Estimation [1.3791394805787949]
  我々は、クープマン作用素理論を用いて複素非線形系の有限次元表現を抽出する新しいデータ駆動線形推定器を提案する。 抽出したモデルは、元の非線形システムの将来の状態を予測するための最適なステップワイズ動作を学習する深層強化学習ネットワークと共に使用される。
  論文  参考訳（メタデータ） (2024-05-01T16:49:54Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Learn Like The Pro: Norms from Theory to Size Neural Computation [3.848947060636351]
  非線形性を持つ力学系が、それらをエミュレートしようとするニューラル系の設計にどのように影響するかを考察する。 本稿では,学習性尺度を提案し,その関連する特徴を学習力学の近平衡挙動に量子化する。 連続的あるいは離散的な時間ダイナミクスを模倣する乗法ノードを持つニューラルネットワークのクラスの正確なサイズを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-21T20:58:27Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems [0.0]
  RNNは、システム理論のパーランスにおいて、安定したLTIシステムで最適に学習または識別できることを示す。 差分方程式によって入出力関係を特徴づけるLPIシステムの場合、RNNはメートルエントロピー最適方法で入出力トレースから差分方程式を学習することができる。
  論文  参考訳（メタデータ） (2021-05-06T10:12:30Z)
• Linear embedding of nonlinear dynamical systems and prospects for efficient quantum algorithms [74.17312533172291]
  有限非線形力学系を無限線型力学系(埋め込み)にマッピングする方法を述べる。 次に、有限線型系 (truncation) による結果の無限線型系を近似するアプローチを検討する。
  論文  参考訳（メタデータ） (2020-12-12T00:01:10Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。