論文の概要: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
- arxiv url: http://arxiv.org/abs/2312.01728v3
- Date: Wed, 29 May 2024 01:39:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 00:00:32.665610
- Title: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
- Title（参考訳）: ImputeFormer: 一般化可能な時空間インプットのための低ランク変換器
- Authors: Tong Nie, Guoyang Qin, Wei Ma, Yuewen Mei, Jian Sun,
- Abstract要約: 既存の計算ソリューションには、主に低ランクモデルとディープラーニングモデルが含まれる。
強誘導バイアスと高時間モデル表現率の低ランク化によるバイアスバランスを示す。
交通流,太陽エネルギー,スマートメーター,空気品質など,異種データセットの精度,効率,汎用性において,その優位性を示す。
- 参考スコア（独自算出の注目度）: 43.684035409535696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing data is a pervasive issue in both scientific and engineering tasks, especially for the modeling of spatiotemporal data. This problem attracts many studies to contribute to data-driven solutions. Existing imputation solutions mainly include low-rank models and deep learning models. The former assumes general structural priors but has limited model capacity. The latter possesses salient features of expressivity but lacks prior knowledge of the underlying spatiotemporal structures. Leveraging the strengths of both two paradigms, we demonstrate a low rankness-induced Transformer to achieve a balance between strong inductive bias and high model expressivity. The exploitation of the inherent structures of spatiotemporal data enables our model to learn balanced signal-noise representations, making it generalizable for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and versatility in heterogeneous datasets, including traffic flow, solar energy, smart meters, and air quality. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rankness, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.
- Abstract（参考訳）: データ不足は、特に時空間データのモデリングにおいて、科学と工学の両方のタスクにおいて広範囲にわたる問題である。
この問題はデータ駆動型ソリューションに貢献するために多くの研究を惹きつける。
既存の計算ソリューションには、主に低ランクモデルとディープラーニングモデルが含まれる。
前者は一般的な構造上の先行を前提としているが、モデル能力は限られている。
後者は表現性の健全な特徴を持っているが、基礎となる時空間構造についての事前の知識が欠けている。
2つのパラダイムの強みを生かして、強い帰納バイアスと高いモデル表現率のバランスをとるために、低ランク化誘起変換器を実証する。
時空間データの固有構造を活用することにより、バランスの取れた信号-雑音表現を学習し、様々な計算問題に対して一般化することができる。
交通流,太陽エネルギー,スマートメーター,空気品質など,異種データセットの精度,効率,汎用性において,その優位性を示す。
実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。
関連論文リスト
- Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。
下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。
本稿では,視覚言語モデルを正規化するための量子化について検討する。
論文 参考訳（メタデータ） (2024-07-15T13:19:56Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳（メタデータ） (2024-02-18T11:59:04Z) - Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model [23.875981403451256]
EarthFarseerは、並列ローカル畳み込みとグローバルなフーリエベースのトランスフォーマーアーキテクチャを組み合わせたフレームワークである。
提案手法は, 様々な収束, データセットに強い適応性を示し, 長期間の予測において, 高速で良好な局所忠実性を示す。
論文 参考訳（メタデータ） (2023-12-13T07:20:24Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-02T21:27:54Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer [72.5190560787569]
コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。
本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
論文 参考訳（メタデータ） (2020-11-25T00:13:11Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。