論文の概要: State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory

• arxiv url: http://arxiv.org/abs/2309.13414v2
• Date: Sun, 1 Oct 2023 01:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 12:38:20.039902
• Title: State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory
• Title（参考訳）: 層次非線形性をもつ状態空間モデルは指数減少メモリを持つ普遍近似器である
• Authors: Shida Wang, Beichen Xue
• Abstract要約: 階層的非線形アクティベーションを伴う状態空間モデルの重ね合わせは,連続的なシーケンスとシーケンスの関係を近似するのに十分であることを示す。 理論上も経験的にも、状態空間モデルは指数的崩壊するメモリ問題を根本的に解決しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-space models have gained popularity in sequence modelling due to their simple and efficient network structures. However, the absence of nonlinear activation along the temporal direction limits the model's capacity. In this paper, we prove that stacking state-space models with layer-wise nonlinear activation is sufficient to approximate any continuous sequence-to-sequence relationship. Our findings demonstrate that the addition of layer-wise nonlinear activation enhances the model's capacity to learn complex sequence patterns. Meanwhile, it can be seen both theoretically and empirically that the state-space models do not fundamentally resolve the exponential decaying memory issue. Theoretical results are justified by numerical verifications.
• Abstract（参考訳）: 状態空間モデルは、単純で効率的なネットワーク構造のためにシーケンスモデリングで人気を博している。 しかし、時間方向に沿った非線形活性化が存在しないため、モデルの能力は制限される。 本稿では, 階層的非線形アクティベーションを伴う状態空間モデルの積み重ねが, 連続シーケンスとシーケンスの関係を近似するのに十分であることを示す。 本研究は,層状非線形活性化を付加することで,複雑なシーケンスパターンを学習するモデルの能力を高めることを示す。 一方、理論的にも経験的にも、状態空間モデルが指数的減衰するメモリ問題を根本的に解決していないことが分かる。 理論的結果は数値検証によって正当化される。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Data-driven Nonlinear Model Reduction using Koopman Theory: Integrated Control Form and NMPC Case Study [56.283944756315066]
  そこで本研究では,遅延座標符号化と全状態復号化を組み合わせた汎用モデル構造を提案し,Koopmanモデリングと状態推定を統合した。 ケーススタディでは,本手法が正確な制御モデルを提供し,高純度極低温蒸留塔のリアルタイム非線形予測制御を可能にすることを実証している。
  論文  参考訳（メタデータ） (2024-01-09T11:54:54Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Dynamical chaos in nonlinear Schr\"odinger models with subquadratic power nonlinearity [137.6408511310322]
  ランダムポテンシャルと準4次パワー非線形性を持つ非線形シュリンガー格子のクラスを扱う。 拡散過程は亜拡散性であり, 微細構造が複雑であることを示す。 二次パワー非線形性の限界も議論され、非局在化境界をもたらすことが示されている。
  論文  参考訳（メタデータ） (2023-01-20T16:45:36Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• Learning Reduced Nonlinear State-Space Models: an Output-Error Based Canonical Approach [8.029702645528412]
  非線形挙動を持つ動的システムのモデリングにおけるディープラーニングの有効性について検討する。 3つの非線形系を同定する能力を示す。 シミュレーションで生成したテストデータと,無人航空機飛行計測の現実的データセットを用いて,オープンループ予測の評価を行った。
  論文  参考訳（メタデータ） (2022-04-19T06:33:23Z)
• Nonlinear proper orthogonal decomposition for convection-dominated flows [0.0]
  そこで本稿では,自動エンコーダと長期記憶ネットワークを組み合わせたエンドツーエンドのガレルキンフリーモデルを提案する。 我々の手法は精度を向上するだけでなく、トレーニングやテストの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2021-10-15T18:05:34Z)
• On the Memory Mechanism of Tensor-Power Recurrent Models [25.83531612758211]
  TPリカレントモデルの記憶機構について検討する。 長期記憶効果を達成するためには, p が重要条件であることが示される。 新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
  論文  参考訳（メタデータ） (2021-03-02T07:07:47Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series [0.0]
  非線形独立成分分析と隠れマルコフモデルを組み合わせる方法について述べる。 ニューラルネットワークのような一般の混合非線形性に対するモデルの有効性を実証する。 我々は、教師なし、より効率的で、基礎となる時間力学をモデル化できる新しい非線形ICAフレームワークを実現する。
  論文  参考訳（メタデータ） (2020-06-22T10:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。