論文の概要: Time-Series Forecasting, Knowledge Distillation, and Refinement within a Multimodal PDE Foundation Model
- arxiv url: http://arxiv.org/abs/2409.11609v1
- Date: Tue, 17 Sep 2024 23:53:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 19:39:45.294763
- Title: Time-Series Forecasting, Knowledge Distillation, and Refinement within a Multimodal PDE Foundation Model
- Title（参考訳）: マルチモーダルPDEファンデーションモデルにおける時系列予測, 知識蒸留, 精製
- Authors: Derek Jollie, Jingmin Sun, Zecheng Zhang, Hayden Schaeffer,
- Abstract要約: 我々は,SymPyに基づく新しいトークンライブラリを提案し,時系列モデルに対する追加のモダリティとして差分予測方程式を符号化する。
このアプローチは最小限のコストを発生させ、自動化され、タスクの予測に高い精度を維持する。
- 参考スコア（独自算出の注目度）: 0.5999777817331317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic encoding has been used in multi-operator learning as a way to embed additional information for distinct time-series data. For spatiotemporal systems described by time-dependent partial differential equations, the equation itself provides an additional modality to identify the system. The utilization of symbolic expressions along side time-series samples allows for the development of multimodal predictive neural networks. A key challenge with current approaches is that the symbolic information, i.e. the equations, must be manually preprocessed (simplified, rearranged, etc.) to match and relate to the existing token library, which increases costs and reduces flexibility, especially when dealing with new differential equations. We propose a new token library based on SymPy to encode differential equations as an additional modality for time-series models. The proposed approach incurs minimal cost, is automated, and maintains high prediction accuracy for forecasting tasks. Additionally, we include a Bayesian filtering module that connects the different modalities to refine the learned equation. This improves the accuracy of the learned symbolic representation and the predicted time-series.
- Abstract（参考訳）: 記号符号化は、異なる時系列データに対する追加情報を埋め込む手段として、マルチオペレータ学習で使われている。
時間依存偏微分方程式によって記述される時空間系に対しては、方程式自体が系を特定するための追加のモダリティを与える。
サイド時系列サンプルに沿った記号表現の利用により、マルチモーダル予測ニューラルネットワークの開発が可能となる。
現在のアプローチにおける重要な課題は、特に新しい微分方程式を扱う場合、コストを増大させ柔軟性を低下させる既存のトークンライブラリに適合し、関連付けるために、記号情報、すなわち方程式を手作業で前処理(単純化、再配置など)しなければならないことである。
我々は,SymPyに基づく新しいトークンライブラリを提案し,時系列モデルに対する追加のモダリティとして微分方程式を符号化する。
提案手法は、最小限のコストを発生させ、自動化し、タスク予測のための高い予測精度を維持する。
さらに、学習方程式を洗練させるために異なるモジュラリティを接続するベイズフィルタモジュールも含んでいる。
これにより、学習したシンボル表現と予測された時系列の精度が向上する。
関連論文リスト
- Quantized symbolic time series approximation [0.28675177318965045]
本稿では,新しい量子化に基づくABBA記号近似手法,QABBAを提案する。
QABBAは、元の速度とシンボル再構成の精度を維持しながら、ストレージ効率を向上させる。
時系列回帰のための大規模言語モデル(LLM)を用いたQABBAの応用についても述べる。
論文 参考訳（メタデータ） (2024-11-20T10:32:22Z) - Temporal Convolution Derived Multi-Layered Reservoir Computing [5.261277318790788]
貯水池の状態空間への入力データの新たなマッピングを提案する。
ニューラルネットワークの並列化性,深さ,予測能力を向上する2つの新しいネットワークアーキテクチャにこの手法を組み込む。
カオス時系列では、Echo State Networksと比較して最大85.45%、Gated Recurrent Unitsと比較して90.72%のエラー削減が観察される。
論文 参考訳（メタデータ） (2024-07-09T11:40:46Z) - Contrastive Difference Predictive Coding [79.74052624853303]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳（メタデータ） (2023-10-31T03:16:32Z) - Persistence-Based Discretization for Learning Discrete Event Systems
from Time Series [50.591267188664666]
Persistは、永続化スコアと呼ばれるスコアを使用して永続的なシンボルを作成するための離散化手法である。
パーシステンススコアで用いられる計量であるクルバック・リーブラーの発散をワッサーシュタイン距離に置き換える。
実験により、改善された永続化スコアは、パーシストが元の時系列の情報を取得する能力を高めることが示されている。
論文 参考訳（メタデータ） (2023-01-12T14:10:30Z) - SMS: Spiking Marching Scheme for Efficient Long Time Integration of
Differential Equations [2.935661780430872]
時間依存型正規および部分微分方程式(ODE, PDE)の統合のためのスパイキングニューラルネットワーク(SNN)に基づく明示的数値スキームを提案する。
この手法の中核となる要素はSNNであり、次のタイミングでスパイクエンコードされた情報を予測するために、前のタイミングでソリューションに関するスパイクエンコードされた情報を使用するように訓練されている。
デコーダは、進化したスパイキング符号化されたソリューションを関数値に戻すために使用される。
論文 参考訳（メタデータ） (2022-11-17T22:57:25Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Meta-Learning for Koopman Spectral Analysis with Short Time-series [49.41640137945938]
既存の手法では、ニューラルネットワークのトレーニングに長い時間を要する。
本稿では,未知の短い時系列から埋め込み関数を推定するメタラーニング手法を提案する。
提案手法は,固有値推定と将来予測の観点から,よりよい性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-02-09T07:19:19Z) - Accelerated solving of coupled, non-linear ODEs through LSTM-AI [0.0]
本研究の目的は、機械学習、特にニューラルネットワーク(NN)を用いて、結合された常微分方程式(ODE)の集合の軌跡を学習することである。
予測計算時間と数値解を求める計算時間を比較すると,計算速度は9.75倍から197倍に向上した。
論文 参考訳（メタデータ） (2020-09-11T18:31:53Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。
ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。
本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-05T07:06:19Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。