論文の概要: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal Imputation

• arxiv url: http://arxiv.org/abs/2312.01728v1
• Date: Mon, 4 Dec 2023 08:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-05 15:51:30.488640
• Title: ImputeFormer: Graph Transformers for Generalizable Spatiotemporal Imputation
• Title（参考訳）: ImputeFormer: 一般化可能な時空間インプットのためのグラフ変換器
• Authors: Tong Nie, Guoyang Qin, Yuewen Mei, and Jian Sun
• Abstract要約: 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。 我々は、時間的注意の投影、グローバル適応グラフの畳み込み、フーリエ計算損失を含む3つの重要な知識駆動型拡張を備えた標準変換器を駆動する。 交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。
• 参考スコア（独自算出の注目度）: 38.061090528695544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on the multivariate time series imputation problem using deep neural architectures. The ubiquitous issue of missing data in both scientific and engineering tasks necessitates the development of an effective and general imputation model. Leveraging the wisdom and expertise garnered from low-rank imputation methods, we power the canonical Transformers with three key knowledge-driven enhancements, including projected temporal attention, global adaptive graph convolution, and Fourier imputation loss. These task-agnostic inductive biases exploit the inherent structures of incomplete time series, and thus make our model versatile for a variety of imputation problems. We demonstrate its superiority in terms of accuracy, efficiency, and flexibility on heterogeneous datasets, including traffic speed, traffic volume, solar energy, smart metering, and air quality. Comprehensive case studies are performed to further strengthen the interpretability. Promising empirical results provide strong conviction that incorporating time series primitives, such as low-rank properties, can substantially facilitate the development of a generalizable model to approach a wide range of spatiotemporal imputation problems.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワークを用いた多変量時系列計算問題に着目する。 科学と工学のタスクにおけるデータの欠落というユビキタスな問題は、効果的で一般的な計算モデルの開発を必要とする。 低ランクな計算手法から得られる知恵と専門知識を活用して、予測時間的注意、グローバル適応グラフの畳み込み、フーリエの計算損失を含む3つの重要な知識駆動の強化を行う。 これらのタスク非依存的帰納バイアスは不完全時系列の固有構造を生かし、様々な計算問題に対して我々のモデルを多用する。 交通速度,交通量,太陽エネルギー,スマートメータリング,空気品質など,異種データセットの精度,効率,柔軟性において,その優位性を示す。 包括的ケーススタディにより、解釈可能性をさらに強化する。 実証結果の証明は、低ランク性のような時系列プリミティブを組み込むことで、広範囲の時空間計算問題にアプローチする一般化可能なモデルの開発を大幅に促進できるという強い信念を与える。

関連論文リスト

• SCENT: Robust Spatiotemporal Learning for Continuous Scientific Data via Scalable Conditioned Neural Fields [11.872753517172555]
  SCENTは、スケーラブルで連続性に富んだモデリング学習のための新しいフレームワークである。 SCENTは単一のアーキテクチャ内で表現、再構築、予測を統一する。 我々はSCENTを広範囲なシミュレーションと実世界の実験により検証し、最先端の性能を実証した。
  論文  参考訳（メタデータ） (2025-04-16T17:17:31Z)
• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• TAEN: A Model-Constrained Tikhonov Autoencoder Network for Forward and Inverse Problems [0.6144680854063939]
  工学や科学の分野では、前方・逆問題のリアルタイム解法が不可欠である。 機械学習サロゲートモデルは従来の方法に代わる有望な代替手段として登場し、計算時間を大幅に短縮した。 これらのモデルは通常、さまざまなシナリオをまたいだ堅牢な一般化を実現するために、広範なトレーニングデータセットを必要とします。 本稿では,Tikhonov 自己エンコーダモデルに制約のある新しいフレームワーク TAE を提案する。
  論文  参考訳（メタデータ） (2024-12-09T21:36:42Z)
• Quantized Prompt for Efficient Generalization of Vision-Language Models [27.98205540768322]
  CLIPのような大規模事前学習型視覚言語モデルは、様々な分野で大きな成功を収めている。 下流への適応の間、最も難しい問題は過度に適合し、破滅的な忘れ物である。 本稿では,視覚言語モデルを正規化するための量子化について検討する。
  論文  参考訳（メタデータ） (2024-07-15T13:19:56Z)
• A Temporally Disentangled Contrastive Diffusion Model for Spatiotemporal Imputation [35.46631415365955]
  C$2$TSDという条件拡散フレームワークを導入する。 実世界の3つのデータセットに対する我々の実験は、最先端のベースラインと比較して、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-02-18T11:59:04Z)
• Earthfarseer: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model [23.875981403451256]
  EarthFarseerは、並列ローカル畳み込みとグローバルなフーリエベースのトランスフォーマーアーキテクチャを組み合わせたフレームワークである。 提案手法は, 様々な収束, データセットに強い適応性を示し, 長期間の予測において, 高速で良好な局所忠実性を示す。
  論文  参考訳（メタデータ） (2023-12-13T07:20:24Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer [72.5190560787569]
  コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。 本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。 これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
  論文  参考訳（メタデータ） (2020-11-25T00:13:11Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。