論文の概要: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal Imputation

• arxiv url: http://arxiv.org/abs/2312.01728v1
• Date: Mon, 4 Dec 2023 08:35:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:51:30.488640
• Title: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal Imputation
• Title（参考訳）: ImputeFormer: 一般化可能な時空間インプットのためのグラフ変換器
• Authors: Tong Nie, Guoyang Qin, Yuewen Mei, and Jian Sun
• Abstract要約: 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。 我々は、時間的注意の投影、グローバル適応グラフの畳み込み、フーリエ計算損失を含む3つの重要な知識駆動型拡張を備えた標準変換器を駆動する。 交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。
• 参考スコア（独自算出の注目度）: 38.061090528695544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on the multivariate time series imputation problem using deep neural architectures. The ubiquitous issue of missing data in both scientific and engineering tasks necessitates the development of an effective and general imputation model. Leveraging the wisdom and expertise garnered from low-rank imputation methods, we power the canonical Transformers with three key knowledge-driven enhancements, including projected temporal attention, global adaptive graph convolution, and Fourier imputation loss. These task-agnostic inductive biases exploit the inherent structures of incomplete time series, and thus make our model versatile for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and flexibility on heterogeneous datasets, including traffic speed, traffic volume, solar energy, smart metering, and air quality. Comprehensive case studies are performed to further strengthen the interpretability. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rank properties, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。 科学と工学のタスクにおけるデータの欠落というユビキタスな問題は、効果的で一般的な計算モデルの開発を必要とする。 低ランクな計算手法から得られる知恵と専門知識を活用して、予測時間的注意、グローバル適応グラフの畳み込み、フーリエの計算損失を含む3つの重要な知識駆動の強化を行う。 これらのタスク非依存的帰納バイアスは不完全時系列の固有構造を生かし、様々な計算問題に対して我々のモデルを多用する。 交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。 包括的ケーススタディにより、解釈可能性をさらに強化する。 実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Synthetic Feature Augmentation Improves Generalization Performance of Language Models [8.463273762997398]
  限定的かつ不均衡なデータセット上でのトレーニングと微調整のディープラーニングモデルは、重大な課題を生じさせる。 本研究では, 様々な手法を用いて合成試料を合成することにより, 埋め込み空間における特徴量を増やすことを提案する。 複数のオープンソーステキスト分類ベンチマークにまたがって,このアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2025-01-11T04:31:18Z)
• TAEN: A Model-Constrained Tikhonov Autoencoder Network for Forward and Inverse Problems [0.6144680854063939]
  工学や科学の分野では、前方・逆問題のリアルタイム解法が不可欠である。 機械学習サロゲートモデルは従来の方法に代わる有望な代替手段として登場し、計算時間を大幅に短縮した。 これらのモデルは通常、さまざまなシナリオをまたいだ堅牢な一般化を実現するために、広範なトレーニングデータセットを必要とします。 本稿では,Tikhonov 自己エンコーダモデルに制約のある新しいフレームワーク TAE を提案する。
  論文  参考訳（メタデータ） (2024-12-09T21:36:42Z)
• Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
  CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。 下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。 本稿では,視覚言語モデルを正規化するための量子化について検討する。
  論文  参考訳（メタデータ） (2024-07-15T13:19:56Z)
• A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
  C$2$TSDという条件拡散フレームワークを導入する。 実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-18T11:59:04Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。