論文の概要: Entanglement-Embedded Recurrent Network Architecture: Tensorized Latent State Propagation and Chaos Forecasting

• arxiv url: http://arxiv.org/abs/2006.14698v1
• Date: Wed, 10 Jun 2020 23:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 06:42:31.680234
• Title: Entanglement-Embedded Recurrent Network Architecture: Tensorized Latent State Propagation and Chaos Forecasting
• Title（参考訳）: エンタングルメント埋め込みリカレントネットワークアーキテクチャ:テンソル化潜在状態伝播とカオス予測
• Authors: Xiangyi Meng (Boston University) and Tong Yang (Boston College)
• Abstract要約: カオス的時系列予測は、はるかに理解されていない。 従来の統計/ML法は非線形力学系におけるカオスを捉えるのに非効率である。 本稿では,LSTM(Long-term-Memory)ベースのリカレントアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chaotic time series forecasting has been far less understood despite its tremendous potential in theory and real-world applications. Traditional statistical/ML methods are inefficient to capture chaos in nonlinear dynamical systems, especially when the time difference $\Delta t$ between consecutive steps is so large that a trivial, ergodic local minimum would most likely be reached instead. Here, we introduce a new long-short-term-memory (LSTM)-based recurrent architecture by tensorizing the cell-state-to-state propagation therein, keeping the long-term memory feature of LSTM while simultaneously enhancing the learning of short-term nonlinear complexity. We stress that the global minima of chaos can be most efficiently reached by tensorization where all nonlinear terms, up to some polynomial order, are treated explicitly and weighted equally. The efficiency and generality of our architecture are systematically tested and confirmed by theoretical analysis and experimental results. In our design, we have explicitly used two different many-body entanglement structures---matrix product states (MPS) and the multiscale entanglement renormalization ansatz (MERA)---as physics-inspired tensor decomposition techniques, from which we find that MERA generally performs better than MPS, hence conjecturing that the learnability of chaos is determined not only by the number of free parameters but also the tensor complexity---recognized as how entanglement entropy scales with varying matricization of the tensor.
• Abstract（参考訳）: カオス時系列予測は理論や実世界の応用において大きな可能性を秘めているにもかかわらず、あまり理解されていない。 伝統的な統計/ML法は、非線形力学系におけるカオスを捉えるのに非効率であり、特に連続するステップ間の時間差$\Delta t$があまりに大きいため、自明でエルゴード的な局所最小値に到達する可能性が高い。 本稿では,LSTMの長期記憶特性を保ちながら,短期的非線形複雑性の学習を同時に促進し,セル状態から状態への伝播を緊張させることにより,LSTMに基づく新しい長期記憶アーキテクチャを提案する。 カオスの大域的ミニマは、多項式順序まで全ての非線形項が等しく扱われるテンソル化によって最も効率的に到達できると強調する。 アーキテクチャの効率性と汎用性は,理論的解析と実験結果によって体系的に検証され,確認される。 In our design, we have explicitly used two different many-body entanglement structures---matrix product states (MPS) and the multiscale entanglement renormalization ansatz (MERA)---as physics-inspired tensor decomposition techniques, from which we find that MERA generally performs better than MPS, hence conjecturing that the learnability of chaos is determined not only by the number of free parameters but also the tensor complexity---recognized as how entanglement entropy scales with varying matricization of the tensor.

関連論文リスト

• Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
  textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。 本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T05:35:01Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• Slow Invariant Manifolds of Singularly Perturbed Systems via Physics-Informed Machine Learning [0.0]
  特異摂動系の遅い不変多様体(SIM)を近似するための物理インフォームド・機械学習(PIML)手法を提案する。 提案手法では,従来のGSPT法よりも精度の高い近似法が提案されている。 また、学習過程において必要となる微分の記号的、自動的、数値的近似の計算コストの比較を行う。
  論文  参考訳（メタデータ） (2023-09-14T14:10:22Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Physics-Informed Long Short-Term Memory for Forecasting and Reconstruction of Chaos [5.8010446129208155]
  カオスシステムにおける未測定変数の進化を再現し,予測するために,物理インフォームド・ロング短期記憶(PI-LSTM)ネットワークを提案する。 トレーニングは規則化項によって制約され、システムの支配方程式に反する解を罰する。 この研究は、非線形システムの状態再構成と力学の学習の新しい機会を開く。
  論文  参考訳（メタデータ） (2023-02-03T18:27:59Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization [3.6978630614152013]
  本稿では, テンソル完備問題の組込み学習に焦点をあて, 因子化・完備化のための新しい多層ニューラルネットワークアーキテクチャを提案する。 ネットワークアーキテクチャには、オーバーフィッティングを最小限に抑えるためにブロックを構築する一連の低ランク行列因数分解、非直線性のために各層でインターリーブされた転送関数、ネットワークの深さを減少させるバイパス接続など、多くの利点がある。 提案アルゴリズムはEPSデータに欠落した値を出力するのに非常に効率的である。
  論文  参考訳（メタデータ） (2021-09-04T03:08:34Z)
• Time-Reversal Symmetric ODE Network [138.02741983098454]
  時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。 本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。 時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-22T12:19:40Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。