論文の概要: Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions
- arxiv url: http://arxiv.org/abs/2602.12139v1
- Date: Thu, 12 Feb 2026 16:27:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-13 21:07:25.930003
- Title: Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions
- Title（参考訳）: 振動子(Oscillator)は、不規則な時間モデルで、閉じた溶液で減衰した高調波オシレータを駆動する
- Authors: Yashas Shende, Aritra Das, Reva Laxmi Chauhan, Arghya Pathak, Debayan Gupta,
- Abstract要約: トランスフォーマーは、長期の時間的パターンをキャプチャするアテンションメカニズムを通じて、時系列のモデリングを排他的に行う。
彼らは均一な時間間隔を仮定し、従って不規則な時系列に苦しむ。
隠れた状態を連続的に進行する軌道としてモデル化することで、不規則な時系列を扱う方法を示す。
- 参考スコア（独自算出の注目度）: 3.8401108926879495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers excel at time series modelling through attention mechanisms that capture long-term temporal patterns. However, they assume uniform time intervals and therefore struggle with irregular time series. Neural Ordinary Differential Equations (NODEs) effectively handle irregular time series by modelling hidden states as continuously evolving trajectories. ContiFormers arxiv:2402.10635 combine NODEs with Transformers, but inherit the computational bottleneck of the former by using heavy numerical solvers. This bottleneck can be removed by using a closed-form solution for the given dynamical system - but this is known to be intractable in general! We obviate this by replacing NODEs with a novel linear damped harmonic oscillator analogy - which has a known closed-form solution. We model keys and values as damped, driven oscillators and expand the query in a sinusoidal basis up to a suitable number of modes. This analogy naturally captures the query-key coupling that is fundamental to any transformer architecture by modelling attention as a resonance phenomenon. Our closed-form solution eliminates the computational overhead of numerical ODE solvers while preserving expressivity. We prove that this oscillator-based parameterisation maintains the universal approximation property of continuous-time attention; specifically, any discrete attention matrix realisable by ContiFormer's continuous keys can be approximated arbitrarily well by our fixed oscillator modes. Our approach delivers both theoretical guarantees and scalability, achieving state-of-the-art performance on irregular time series benchmarks while being orders of magnitude faster.
- Abstract（参考訳）: トランスフォーマーは、長期の時間的パターンをキャプチャするアテンションメカニズムを通じて、時系列のモデリングを排他的に行う。
しかし、それらは均一な時間間隔を仮定し、したがって不規則な時系列に苦しむ。
ニューラル正規微分方程式(NODE)は、隠れた状態を連続的に変化する軌道としてモデル化することで、不規則な時系列を効果的に扱う。
ContiFormers arxiv:2402.10635 は NODE と Transformer を組み合わせるが、重い数値解法を用いて前者の計算ボトルネックを継承する。
このボトルネックは、与えられた動的システムに対してクローズドフォームのソリューションを使用することで取り除くことができる。
我々は、NODEを、既知の閉形式解を持つ新しい線形減衰調和振動子アナログに置き換えることによって、これを阻止する。
我々は、鍵と値を減衰、駆動振動子としてモデル化し、正弦波ベースのクエリを適切な数のモードに拡張する。
この類似性は、共鳴現象として注意をモデル化することによって、いかなるトランスフォーマーアーキテクチャの基本となるクエリキー結合を自然に捉えている。
我々の閉形式解は、表現性を維持しながら数値ODEソルバの計算オーバーヘッドをなくす。
具体的には、ContiFormerの連続鍵で実現可能な任意の離散的注意行列は、固定振動子モードで任意に近似することができる。
提案手法は理論的保証とスケーラビリティを両立させ,不規則な時系列ベンチマーク上での最先端性能を桁違いに高速に達成する。
関連論文リスト
- TimeSynth: A Framework for Uncovering Systematic Biases in Time Series Forecasting [0.9332987715848716]
Time Synthは、リアルタイム時系列の重要な特性をエミュレートする構造化されたフレームワークである。
リニア、マルチレイヤパーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーの4つのモデル群を評価する。
論文 参考訳（メタデータ） (2026-02-11T22:31:29Z) - Modeling Time Series Dynamics with Fourier Ordinary Differential Equations [5.156484100374059]
FODEはFourierドメインに動的を埋め込むアプローチです。
FODEは、時間領域において解明され続けるグローバルなパターンと周期的な振舞いを明らかにする。
様々な時系列データセットの実験により、FODEは精度と効率の両面で既存の手法より優れていることが示された。
論文 参考訳（メタデータ） (2025-10-05T10:27:45Z) - MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
時系列予測は、周波数の異なる周期特性から導かれる。
マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。
主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-03-11T11:40:14Z) - ContiFormer: Continuous-Time Transformer for Irregular Time Series
Modeling [30.12824131306359]
不規則な時系列上の連続時間ダイナミクスのモデリングは、連続的に発生するデータの進化と相関を考慮するために重要である。
リカレントニューラルネットワークやTransformerモデルを含む従来の方法は、強力なニューラルネットワークを通じて誘導バイアスを利用して複雑なパターンをキャプチャする。
本稿では,バニラ変換器の関係モデリングを連続時間領域に拡張するContiFormerを提案する。
論文 参考訳（メタデータ） (2024-02-16T12:34:38Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳（メタデータ） (2023-10-04T07:14:43Z) - Diffeomorphic Transformations for Time Series Analysis: An Efficient
Approach to Nonlinear Warping [0.0]
多くの分野にわたる時間データの拡散と普遍性は、類似性、分類、クラスタリング手法への関心を喚起した。
ユークリッドのような伝統的な距離測度は、時間に依存したデータの性質のため適していない。
この論文は、パラメトリックおよび微分同相のワープ変換を用いる新しい弾性アライメント法を提案する。
論文 参考訳（メタデータ） (2023-09-25T10:51:47Z) - Time Dependent Hamiltonian Simulation Using Discrete Clock Constructions [42.3779227963298]
時間依存力学を時間依存システムとして符号化するためのフレームワークを提供する。
まず、拡張クロックシステム上で量子化を行う時間依存シミュレーションアルゴリズムを作成する。
第2に、時間順序指数に対する多積公式の自然な一般化を定義する。
論文 参考訳（メタデータ） (2022-03-21T21:29:22Z) - Extracting Dynamical Models from Data [0.0]
システムの基盤となるダイナミクスを決定するという問題は、その状態のデータだけを時間とともに与えることによって、何十年もの間科学者に挑戦してきた。
本稿では,機械学習を用いて位相空間変数の更新をモデル化する手法を提案する。
論文 参考訳（メタデータ） (2021-10-13T17:55:06Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Fast and differentiable simulation of driven quantum systems [58.720142291102135]
我々は、ダイソン展開に基づく半解析手法を導入し、標準数値法よりもはるかに高速に駆動量子系を時間発展させることができる。
回路QEDアーキテクチャにおけるトランスモン量子ビットを用いた2量子ゲートの最適化結果を示す。
論文 参考訳（メタデータ） (2020-12-16T21:43:38Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。