論文の概要: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation

• arxiv url: http://arxiv.org/abs/2312.01728v2
• Date: Fri, 29 Dec 2023 06:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 00:46:49.873362
• Title: ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
• Title（参考訳）: 一般化時空間インプテーションのための低ランク性トランスフォーマー
• Authors: Tong Nie, Guoyang Qin, Wei Ma, Yuewen Mei, and Jian Sun
• Abstract要約: タイムラプスの欠如は、科学的なタスク、特にエンジニアリングデータのモデリングにおいて広範囲にわたる問題である。 既存の計算ソリューションには、低ランクモデルとディープラーニングモデルが含まれる。 強い帰納バイアスと高いモデル表現率のバランスをとるためのトランスフォーマーモデルを実証する。
• 参考スコア（独自算出の注目度）: 43.684035409535696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Missing data is a pervasive issue in both scientific and engineering tasks, especially for the modeling of spatiotemporal data. This problem attracts many studies to contribute to machine learning solutions. Existing imputation solutions mainly include low-rank models and deep learning models. On the one hand, low-rank models assume general structural priors, but have limited model capacity. On the other hand, deep learning models possess salient features of expressivity, while lack prior knowledge of the spatiotemporal process. Leveraging the strengths of both two paradigms, we demonstrate a low rankness-induced Transformer model to achieve a balance between strong inductive bias and high model expressivity. The exploitation of the inherent structures of spatiotemporal data enables our model to learn balanced signal-noise representations, making it versatile for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and generality in heterogeneous datasets, including traffic speed, traffic volume, solar energy, smart metering, and air quality. Comprehensive case studies are performed to further strengthen interpretability. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rank properties, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.
• Abstract（参考訳）: データの欠如は、科学と工学の両方のタスク、特に時空間データのモデリングにおいて広く問題となっている。 この問題は、機械学習ソリューションに貢献するために多くの研究を惹きつける。 既存の計算ソリューションには、主に低ランクモデルとディープラーニングモデルが含まれる。 一方、低ランクモデルは一般的な構造的優先権を持つが、モデルの容量は限られている。 一方、深層学習モデルは、時空間過程の事前知識を欠きながら、表現性の健全な特徴を有する。 両パラダイムの強みを活かし,低ランク性によるトランスフォーマーモデルを用いて,強い帰納バイアスと高いモデル表現率のバランスを実現する。 時空間データの固有構造を活用することにより、バランスの取れた信号-雑音表現を学習し、様々な計算問題に応用できる。 交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,一般性において,その優位性を示す。 包括的ケーススタディにより、解釈可能性をさらに強化する。 実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Synthetic Feature Augmentation Improves Generalization Performance of Language Models [8.463273762997398]
  限定的かつ不均衡なデータセット上でのトレーニングと微調整のディープラーニングモデルは、重大な課題を生じさせる。 本研究では, 様々な手法を用いて合成試料を合成することにより, 埋め込み空間における特徴量を増やすことを提案する。 複数のオープンソーステキスト分類ベンチマークにまたがって,このアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2025-01-11T04:31:18Z)
• TAEN: A Model-Constrained Tikhonov Autoencoder Network for Forward and Inverse Problems [0.6144680854063939]
  工学や科学の分野では、前方・逆問題のリアルタイム解法が不可欠である。 機械学習サロゲートモデルは従来の方法に代わる有望な代替手段として登場し、計算時間を大幅に短縮した。 これらのモデルは通常、さまざまなシナリオをまたいだ堅牢な一般化を実現するために、広範なトレーニングデータセットを必要とします。 本稿では,Tikhonov 自己エンコーダモデルに制約のある新しいフレームワーク TAE を提案する。
  論文  参考訳（メタデータ） (2024-12-09T21:36:42Z)
• Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
  CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。 下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。 本稿では,視覚言語モデルを正規化するための量子化について検討する。
  論文  参考訳（メタデータ） (2024-07-15T13:19:56Z)
• A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
  C$2$TSDという条件拡散フレームワークを導入する。 実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-18T11:59:04Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。