論文の概要: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal
Imputation
- arxiv url: http://arxiv.org/abs/2312.01728v1
- Date: Mon, 4 Dec 2023 08:35:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 15:51:30.488640
- Title: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal
Imputation
- Title(参考訳): ImputeFormer: 一般化可能な時空間インプットのためのグラフ変換器
- Authors: Tong Nie, Guoyang Qin, Yuewen Mei, and Jian Sun
- Abstract要約: 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。
我々は、時間的注意の投影、グローバル適応グラフの畳み込み、フーリエ計算損失を含む3つの重要な知識駆動型拡張を備えた標準変換器を駆動する。
交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。
- 参考スコア(独自算出の注目度): 38.061090528695544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper focuses on the multivariate time series imputation problem using
deep neural architectures. The ubiquitous issue of missing data in both
scientific and engineering tasks necessitates the development of an effective
and general imputation model. Leveraging the wisdom and expertise garnered from
low-rank imputation methods, we power the canonical Transformers with three key
knowledge-driven enhancements, including projected temporal attention, global
adaptive graph convolution, and Fourier imputation loss. These task-agnostic
inductive biases exploit the inherent structures of incomplete time series, and
thus make our model versatile for a variety of imputation problems. We
demonstrate its superiority in terms of accuracy, efficiency, and flexibility
on heterogeneous datasets, including traffic speed, traffic volume, solar
energy, smart metering, and air quality. Comprehensive case studies are
performed to further strengthen the interpretability. Promising empirical
results provide strong conviction that incorporating time series primitives,
such as low-rank properties, can substantially facilitate the development of a
generalizable model to approach a wide range of spatiotemporal imputation
problems.
- Abstract(参考訳): 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。
科学と工学のタスクにおけるデータの欠落というユビキタスな問題は、効果的で一般的な計算モデルの開発を必要とする。
低ランクな計算手法から得られる知恵と専門知識を活用して、予測時間的注意、グローバル適応グラフの畳み込み、フーリエの計算損失を含む3つの重要な知識駆動の強化を行う。
これらのタスク非依存的帰納バイアスは不完全時系列の固有構造を生かし、様々な計算問題に対して我々のモデルを多用する。
交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。
包括的ケーススタディにより、解釈可能性をさらに強化する。
実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。
関連論文リスト
- Hybrid Square Neural ODE Causal Modeling [6.173397761495849]
ハイブリッドモデルは、機械的ODEベースのダイナミクスと柔軟な表現力のあるニューラルネットワークコンポーネントを組み合わせる。
ハイブリッドモデルがより柔軟になるにつれて、力学モデルによって提供される因果基底が急速に失われることが示される。
私たちはこの情報を因果的損失にエンコードし、標準的な予測的損失と組み合わせて、因果的有効なハイブリッドモデルへの学習をバイアスするハイブリッド損失に到達します。
論文 参考訳(メタデータ) (2024-02-27T06:01:56Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳(メタデータ) (2023-10-02T21:27:54Z) - Differentiable physics-enabled closure modeling for Burgers' turbulence [0.0]
本稿では、既知の物理と機械学習を組み合わせて乱流問題に対するクロージャモデルを開発する微分可能な物理パラダイムを用いたアプローチについて論じる。
我々は、モデルの有効性をテストするために、後方損失関数上の様々な物理仮定を組み込んだ一連のモデルを訓練する。
既知物理あるいは既存の閉包アプローチを含む偏微分方程式の形で帰納バイアスを持つ制約モデルが、非常にデータ効率が高く、正確で、一般化可能なモデルを生成することを発見した。
論文 参考訳(メタデータ) (2022-09-23T14:38:01Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z) - Automating Turbulence Modeling by Multi-Agent Reinforcement Learning [4.784658158364452]
乱流モデルの自動検出ツールとしてマルチエージェント強化学習を導入する。
等方性乱流と等方性乱流の大規模渦シミュレーションにおけるこのアプローチの可能性を示す。
論文 参考訳(メタデータ) (2020-05-18T18:45:09Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳(メタデータ) (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。