論文の概要: Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting

• arxiv url: http://arxiv.org/abs/2512.17696v1
• Date: Fri, 19 Dec 2025 15:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.462975
• Title: Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting
• Title（参考訳）: 空間的インフォームド・トランスフォーマー:時空間予測のための地理的共分散バイアスを自己注意に注入する
• Authors: Yuri Calleo,
• Abstract要約: 本稿では,学習可能なコスタティクスカーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャを提案する。 本稿では,ネットワークがバックプロパゲーションによって下位プロセスの真の空間パラメータを復元する「Deep Variography'」現象を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The modeling of high-dimensional spatio-temporal processes presents a fundamental dichotomy between the probabilistic rigor of classical geostatistics and the flexible, high-capacity representations of deep learning. While Gaussian processes offer theoretical consistency and exact uncertainty quantification, their prohibitive computational scaling renders them impractical for massive sensor networks. Conversely, modern transformer architectures excel at sequence modeling but inherently lack a geometric inductive bias, treating spatial sensors as permutation-invariant tokens without a native understanding of distance. In this work, we propose a spatially-informed transformer, a hybrid architecture that injects a geostatistical inductive bias directly into the self-attention mechanism via a learnable covariance kernel. By formally decomposing the attention structure into a stationary physical prior and a non-stationary data-driven residual, we impose a soft topological constraint that favors spatially proximal interactions while retaining the capacity to model complex dynamics. We demonstrate the phenomenon of ``Deep Variography'', where the network successfully recovers the true spatial decay parameters of the underlying process end-to-end via backpropagation. Extensive experiments on synthetic Gaussian random fields and real-world traffic benchmarks confirm that our method outperforms state-of-the-art graph neural networks. Furthermore, rigorous statistical validation confirms that the proposed method delivers not only superior predictive accuracy but also well-calibrated probabilistic forecasts, effectively bridging the gap between physics-aware modeling and data-driven learning.
• Abstract（参考訳）: 高次元時空間過程のモデリングは、古典的な測地学の確率的厳密さと、深層学習の柔軟な高容量表現との基本的な二分法を示す。 ガウス過程は理論的な一貫性と正確な不確かさの定量化を提供するが、その禁止的な計算スケーリングは巨大なセンサーネットワークにとって現実的ではない。 逆に、現代のトランスフォーマーアーキテクチャはシーケンスモデリングにおいて優れているが、本質的に幾何学的帰納バイアスが欠如しており、空間センサを距離の固有な理解なしに置換不変のトークンとして扱う。 本研究では,学習可能な共分散カーネルを介して,地理的帰納バイアスを直接自己保持機構に注入するハイブリッドアーキテクチャである空間情報変換器を提案する。 注意構造を定常的物理先行と非定常的データ駆動残差に正式に分解することにより、複雑な力学をモデル化する能力を維持しつつ、空間的近接相互作用を優先するソフトトポロジカル制約を課す。 本稿では,ネットワークがバックプロパゲーションにより下位プロセスの真の空間減衰パラメータを復元する「ディープバリアログラフィー」現象を実証する。 合成ガウス乱数場と実世界の交通ベンチマークに関する大規模な実験により、我々の手法が最先端のグラフニューラルネットワークより優れていることが確認された。 さらに、厳密な統計的検証により、提案手法は優れた予測精度だけでなく、よく校正された確率予測も提供し、物理認識モデリングとデータ駆動学習のギャップを効果的に埋めることを確認した。

関連論文リスト

• Leveraging generative adversarial networks with spatially adaptive denormalization for multivariate stochastic seismic data inversion [0.0]
  本研究では,地震データから相の予測と複数の相関した連続特性を示す反復的測地逆解析アルゴリズムSPADE-GANInvを提案する。 SPADE-GANは現実的なジオメトリを再現するように訓練され、シーケンシャルなコシミュレーションは相依存性の連続特性の空間的変動を予測する。 本手法は2次元合成シナリオとフィールドデータの両方で実証され, フルスタック地震データからフェーシ, ポロシティ, 音響インピーダンスの予測を目標としている。
  論文  参考訳（メタデータ） (2025-12-02T15:25:22Z)
• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• A Generalized Unified Skew-Normal Process with Neural Bayes Inference [1.5388334141379898]
  近年、統計学者は非対称性や重尾性といった非ガウス的行動を示す空間データにますます遭遇している。 ガウスモデルの限界に対処するために、様々な歪んだモデルが提案されている。 文学における様々な提案の中で、統一スキュー・ノルマル(SUN)のような統一スキュー分布が注目されている。
  論文  参考訳（メタデータ） (2024-11-26T13:00:39Z)
• Physics-informed UNets for Discovering Hidden Elasticity in Heterogeneous Materials [0.0]
  弾性インバージョンのための新しいUNetベースニューラルネットワークモデル(El-UNet)を開発した。 完全接続された物理インフォームドニューラルネットワークと比較して,El-UNetによる精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T23:35:03Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。