論文の概要: Initializing LSTM internal states via manifold learning

• arxiv url: http://arxiv.org/abs/2104.13101v1
• Date: Tue, 27 Apr 2021 10:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 19:15:50.550406
• Title: Initializing LSTM internal states via manifold learning
• Title（参考訳）: 多様体学習によるLSTM内部状態の初期化
• Authors: Felix P. Kemeth, Tom Bertalan, Nikolaos Evangelou, Tianqi Cui, Saurabh Malani, Ioannis G. Kevrekidis
• Abstract要約: 我々は、収束した「成熟した」内部状態がこの学習多様体上の函数を構成することを論じる。 このデータ多様体を学習することで、部分的に観測されたダイナミクスを完全に観測されたものに変換できることを示す。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an approach, based on learning an intrinsic data manifold, for the initialization of the internal state values of LSTM recurrent neural networks, ensuring consistency with the initial observed input data. Exploiting the generalized synchronization concept, we argue that the converged, "mature" internal states constitute a function on this learned manifold. The dimension of this manifold then dictates the length of observed input time series data required for consistent initialization. We illustrate our approach through a partially observed chemical model system, where initializing the internal LSTM states in this fashion yields visibly improved performance. Finally, we show that learning this data manifold enables the transformation of partially observed dynamics into fully observed ones, facilitating alternative identification paths for nonlinear dynamical systems.
• Abstract（参考訳）: 本稿では,LSTMリカレントニューラルネットワークの内部状態値の初期化のための本質的なデータ多様体を学習し,初期観測データとの整合性を確保するアプローチを提案する。 一般化同期の概念を生かして、収束した「成熟」内部状態は、この学習多様体上の関数であると主張する。 この多様体の次元は、一貫した初期化に必要な観測された入力時系列データの長さを決定する。 我々は,この方法で内部lstm状態を初期化することで,視覚的に性能が向上する部分観察化学モデルシステムを用いて,我々のアプローチを説明する。 最後に、このデータ多様体を学習することで、部分観測されたダイナミクスを完全に観測されたものに変換することができ、非線形力学系に対する代替識別パスが容易になることを示す。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Modeling Spatio-temporal Dynamical Systems with Neural Discrete Learning and Levels-of-Experts [33.335735613579914]
  本稿では,ビデオフレームなどの観測結果に基づいて,時間・動的システムの状態変化をモデル化し,推定することの課題に対処する。 本稿では、一般的な物理プロセスの法則をデータ駆動方式で捉えるために、ユニバーサルエキスパートモジュール、すなわち光フロー推定コンポーネントを提案する。 我々は、既存のSOTAベースラインと比較して、提案フレームワークが大きなパフォーマンスマージンを達成することを示すため、広範囲な実験と改善を実施している。
  論文  参考訳（メタデータ） (2024-02-06T06:27:07Z)
• Complex Recurrent Spectral Network [1.0499611180329806]
  本稿では,複雑なリカレントスペクトルネットワーク(conplex Recurrent Spectral Network)(mathbbC$-RSN)の開発を通じて,人工知能(AI)を進化させる新しいアプローチを提案する。 $mathbbC$-RSNは、既存のニューラルネットワークモデルにおいて、生物学的ニューラルネットワークの複雑なプロセスをエミュレートできないという限界に対処するように設計されている。
  論文  参考訳（メタデータ） (2023-12-12T14:14:40Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Reconstruction, forecasting, and stability of chaotic dynamics from partial data [4.266376725904727]
  本研究では,部分的な観測から隠れカオス変数の力学を推定するためのデータ駆動手法を提案する。 提案するネットワークは,時間的・統計的に隠れた変数を予測できることを示す。 この研究は、完全な状態を再構築し、隠れた変数を推論し、部分的なデータからカオスシステムの安定性を計算する新しい機会を開く。
  論文  参考訳（メタデータ） (2023-05-24T13:01:51Z)
• Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections [6.345523830122166]
  本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。 提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
  論文  参考訳（メタデータ） (2023-03-03T10:49:09Z)
• Integrating Recurrent Neural Networks with Data Assimilation for Scalable Data-Driven State Estimation [0.0]
  データ同化(DA)は機械学習と統合され、完全にデータ駆動のオンライン状態推定を実行する。 リカレントニューラルネットワーク(RNN)は、数値天気予報(NWP)においてDAサイクルの重要なコンポーネントを置き換えるために代理モデルとして実装される これらのRNNがDAメソッドを使用して、ターゲットシステムの観測で隠れた/保存状態を直接更新する方法について示す。
  論文  参考訳（メタデータ） (2021-09-25T03:56:53Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。