論文の概要: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
- arxiv url: http://arxiv.org/abs/2312.01728v3
- Date: Wed, 29 May 2024 01:39:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 00:00:32.665610
- Title: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
- Title（参考訳）: ImputeFormer: 一般化可能な時空間インプットのための低ランク変換器
- Authors: Tong Nie, Guoyang Qin, Wei Ma, Yuewen Mei, Jian Sun,
- Abstract要約: 既存の計算ソリューションには、主に低ランクモデルとディープラーニングモデルが含まれる。
強誘導バイアスと高時間モデル表現率の低ランク化によるバイアスバランスを示す。
交通流,太陽エネルギー,スマートメーター,空気品質など,異種データセットの精度,効率,汎用性において,その優位性を示す。
- 参考スコア（独自算出の注目度）: 43.684035409535696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing data is a pervasive issue in both scientific and engineering tasks, especially for the modeling of spatiotemporal data. This problem attracts many studies to contribute to data-driven solutions. Existing imputation solutions mainly include low-rank models and deep learning models. The former assumes general structural priors but has limited model capacity. The latter possesses salient features of expressivity but lacks prior knowledge of the underlying spatiotemporal structures. Leveraging the strengths of both two paradigms, we demonstrate a low rankness-induced Transformer to achieve a balance between strong inductive bias and high model expressivity. The exploitation of the inherent structures of spatiotemporal data enables our model to learn balanced signal-noise representations, making it generalizable for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and versatility in heterogeneous datasets, including traffic flow, solar energy, smart meters, and air quality. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rankness, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.
- Abstract（参考訳）: データ不足は、特に時空間データのモデリングにおいて、科学と工学の両方のタスクにおいて広範囲にわたる問題である。
この問題はデータ駆動型ソリューションに貢献するために多くの研究を惹きつける。
既存の計算ソリューションには、主に低ランクモデルとディープラーニングモデルが含まれる。
前者は一般的な構造上の先行を前提としているが、モデル能力は限られている。
後者は表現性の健全な特徴を持っているが、基礎となる時空間構造についての事前の知識が欠けている。
2つのパラダイムの強みを生かして、強い帰納バイアスと高いモデル表現率のバランスをとるために、低ランク化誘起変換器を実証する。
時空間データの固有構造を活用することにより、バランスの取れた信号-雑音表現を学習し、様々な計算問題に対して一般化することができる。
交通流,太陽エネルギー,スマートメーター,空気品質など,異種データセットの精度,効率,汎用性において,その優位性を示す。
実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。
関連論文リスト
- Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。
我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。
分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
論文 参考訳（メタデータ） (2025-02-10T04:42:11Z) - Synthetic Feature Augmentation Improves Generalization Performance of Language Models [8.463273762997398]
限定的かつ不均衡なデータセット上でのトレーニングと微調整のディープラーニングモデルは、重大な課題を生じさせる。
本研究では, 様々な手法を用いて合成試料を合成することにより, 埋め込み空間における特徴量を増やすことを提案する。
複数のオープンソーステキスト分類ベンチマークにまたがって,このアプローチの有効性を検証する。
論文 参考訳（メタデータ） (2025-01-11T04:31:18Z) - TAEN: A Model-Constrained Tikhonov Autoencoder Network for Forward and Inverse Problems [0.6144680854063939]
工学や科学の分野では、前方・逆問題のリアルタイム解法が不可欠である。
機械学習サロゲートモデルは従来の方法に代わる有望な代替手段として登場し、計算時間を大幅に短縮した。
これらのモデルは通常、さまざまなシナリオをまたいだ堅牢な一般化を実現するために、広範なトレーニングデータセットを必要とします。
本稿では,Tikhonov 自己エンコーダモデルに制約のある新しいフレームワーク TAE を提案する。
論文 参考訳（メタデータ） (2024-12-09T21:36:42Z) - Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。
下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。
本稿では,視覚言語モデルを正規化するための量子化について検討する。
論文 参考訳（メタデータ） (2024-07-15T13:19:56Z) - A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
C$2$TSDという条件拡散フレームワークを導入する。
実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
論文 参考訳（メタデータ） (2024-02-18T11:59:04Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer [72.5190560787569]
コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。
本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
論文 参考訳（メタデータ） (2020-11-25T00:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。