論文の概要: Delay Embedding Theory of Neural Sequence Models
- arxiv url: http://arxiv.org/abs/2406.11993v1
- Date: Mon, 17 Jun 2024 18:07:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 00:26:41.611968
- Title: Delay Embedding Theory of Neural Sequence Models
- Title(参考訳): ニューラルシーケンスモデルの遅延埋め込み理論
- Authors: Mitchell Ostrow, Adam Eisen, Ila Fiete,
- Abstract要約: 力学系における遅延埋め込みの理論は、観測されていない変数は少数の観測された変数の履歴から復元できることを証明している。
シーケンスモデルの容量を測定し、観測されていないダイナミクスを再構築する。
- 参考スコア(独自算出の注目度): 6.294884163829946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To generate coherent responses, language models infer unobserved meaning from their input text sequence. One potential explanation for this capability arises from theories of delay embeddings in dynamical systems, which prove that unobserved variables can be recovered from the history of only a handful of observed variables. To test whether language models are effectively constructing delay embeddings, we measure the capacities of sequence models to reconstruct unobserved dynamics. We trained 1-layer transformer decoders and state-space sequence models on next-step prediction from noisy, partially-observed time series data. We found that each sequence layer can learn a viable embedding of the underlying system. However, state-space models have a stronger inductive bias than transformers-in particular, they more effectively reconstruct unobserved information at initialization, leading to more parameter-efficient models and lower error on dynamics tasks. Our work thus forges a novel connection between dynamical systems and deep learning sequence models via delay embedding theory.
- Abstract(参考訳): コヒーレント応答を生成するために、言語モデルは入力されたテキストシーケンスから観測されていない意味を推測する。
この能力の1つの潜在的説明は力学系における遅延埋め込みの理論から生じ、これは観測されていない変数が観測された少数の変数の歴史から復元可能であることを証明している。
言語モデルが遅延埋め込みを効果的に構築しているかどうかをテストするために,シーケンスモデルの容量を測定し,観測されていないダイナミクスを再構築する。
我々は、ノイズのある部分的に観測された時系列データから次のステップ予測に基づいて、1層トランスフォーマーデコーダと状態空間シーケンスモデルを訓練した。
その結果、各シーケンス層は、基礎となるシステムの実行可能な埋め込みを学習できることがわかった。
しかし、状態空間モデルはトランスよりも誘導バイアスが強く、特に初期化時に観測されていない情報を効果的に再構成し、パラメータ効率の良いモデルがより多くなり、動的タスクのエラーも小さくなる。
そこで本研究は,遅延埋め込み理論による動的システムと深層学習シーケンスモデルとの新たな関係を定めている。
関連論文リスト
- Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳(メタデータ) (2024-09-05T18:14:22Z) - Neural Persistence Dynamics [8.197801260302642]
時間発展する点雲のトポロジにおける力学を学習する問題を考察する。
提案したモデル - $textitNeural Persistence Dynamics$ - は、パラメータ回帰タスクの多種多様なセットで最先端のパフォーマンスを大幅に上回る。
論文 参考訳(メタデータ) (2024-05-24T17:20:18Z) - eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。
我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
論文 参考訳(メタデータ) (2024-03-03T02:19:49Z) - Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。
本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-18T05:35:01Z) - Foundational Inference Models for Dynamical Systems [5.549794481031468]
我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
論文 参考訳(メタデータ) (2024-02-12T11:48:54Z) - Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks? [18.92828441607381]
埋め込みは観察によく適合するが、同時に誤った動的挙動を持つモデルを誘導することを示す。
2つの加法的ベクトル場成分をパラメトリした単純な埋め込み自由な代替法を提案する。
論文 参考訳(メタデータ) (2023-05-20T12:41:47Z) - Anamnesic Neural Differential Equations with Orthogonal Polynomial
Projections [6.345523830122166]
本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。
提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
論文 参考訳(メタデータ) (2023-03-03T10:49:09Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳(メタデータ) (2022-06-07T13:51:35Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳(メタデータ) (2022-02-25T20:00:56Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。