論文の概要: PINN-Cast: Exploring the Role of Continuous-Depth NODE in Transformers and Physics Informed Loss as Soft Physical Constraints in Short-term Weather Forecasting

• arxiv url: http://arxiv.org/abs/2604.27313v1
• Date: Thu, 30 Apr 2026 01:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.872029
• Title: PINN-Cast: Exploring the Role of Continuous-Depth NODE in Transformers and Physics Informed Loss as Soft Physical Constraints in Short-term Weather Forecasting
• Title（参考訳）: PINN-Cast:短期気象予報におけるソフト物理制約としての変圧器・物理インフォームド損失における連続深さノードの役割を探る
• Authors: Hira Saleem, Flora Salim, Cormac Purcell,
• Abstract要約: 気象予測は物理学に基づく数値気象予測(NWP)に依存してきた。 最近の変圧器ベースの予測器は効率的なデータ駆動の代替手段を提供するが、変圧器は物理に依存しないモデルである。 本稿では,ニューラル正規微分方程式(Neural ODE)を組み込んだ天気予報用連続深度変圧器エンコーダを提案する。
• 参考スコア（独自算出の注目度）: 0.6372261626436676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operational weather prediction has long relied on physics-based numerical weather prediction (NWP), whose accuracy comes at the cost of substantial compute and complex simulation workflows. Recent transformer-based forecasters offer efficient data-driven alternatives, however transformers are physics-agnostic models. Additionally, standard transformer encoders evolve representations through discrete layer updates that may be less suited to modeling smooth latent dynamics. In this work, we propose a continuous-depth transformer encoder for weather forecasting that integrates Neural Ordinary Differential Equation (Neural ODE) dynamics within each encoder block. Specifically, we replace discrete residual updates with ODE-based updates solved using adaptive numerical integration. We also introduce a two-branch attention module that combines conventional patch-wise self-attention with an auxiliary branch that applies a derivative operator to attention logits, providing an additional change-sensitive interaction signal. To further align forecasts with governing principles, we propose a customized physics-informed training objective that enforces physical consistency as a soft constraint. We evaluate the proposed method against a standard discrete transformer baseline and an existing continuous-time Neural ODE forecasting variant, demonstrating the importance of PINN-Cast in short term weather forecasting.
• Abstract（参考訳）: 運用上の天気予報は物理学に基づく数値天気予報(NWP)に大きく依存しており、その精度は計算と複雑なシミュレーションのワークフローを犠牲にしている。 最近の変圧器ベースの予測器は効率的なデータ駆動の代替手段を提供するが、変圧器は物理に依存しないモデルである。 さらに、標準トランスフォーマーエンコーダは、スムーズな潜伏ダイナミクスのモデリングには適さない離散層更新を通じて表現を進化させる。 本研究では,各エンコーダブロック内にニューラル正規微分方程式(Neural ODE)のダイナミクスを統合する,天気予報のための連続深度変換器エンコーダを提案する。 具体的には、離散的残差更新を、適応的数値積分を用いて解決したODEベースの更新に置き換える。 また,従来のパッチ・ワイド・アテンションとアテンション・ロジットにデリバティブ演算子を適用した補助分岐を組み合わせた2分岐アテンション・モジュールを導入する。 予測とルールの整合性をさらに高めるため,物理インフォームドトレーニングをソフト制約として実施する。 提案手法は,短時間の天気予報におけるPINN-Castの重要性を実証し,標準離散トランスフォーマベースラインと既存の連続時間ニューラルODE予測変動に対して評価する。

関連論文リスト

• EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
  IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。 これは、パッチの計算上の利点を維持しながら、時間構造を保存する。 長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
  論文  参考訳（メタデータ） (2025-09-30T12:09:56Z)
• DeepKoopFormer: A Koopman Enhanced Transformer Based Architecture for Time Series Forecasting [0.9217021281095907]
  時系列予測は、科学的、工業的、環境的な領域において重要な役割を担っている。 DeepKoopFormerは、Transformerの表現力とKoopman演算子理論の理論的な厳密さを組み合わせた、原則化された予測フレームワークである。 我々のモデルはモジュラーエンコーダ・プロパゲータ・デコーダ構造を特徴とし、時間的ダイナミクスはスペクトル的に制約された線形クープマン作用素を潜在空間で学習する。
  論文  参考訳（メタデータ） (2025-08-04T17:05:55Z)
• Learning from Scratch: Structurally-masked Transformer for Next Generation Lib-free Simulation [5.564681128355971]
  本稿では,多段階データパスのパワーとタイミング予測のためのニューラルネットワークフレームワークを提案する。 私たちの知る限りでは、これは標準セル用に明示的に設計された言語ベースのネットリスト対応ニューラルネットワークとしては初めてのものです。
  論文  参考訳（メタデータ） (2025-07-23T10:46:25Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• STC-ViT: Spatio Temporal Continuous Vision Transformer for Weather Forecasting [0.0]
  天気予報のための時空間連続トランスフォーマービジョンであるSTC-ViTを提案する。 STC-ViTは、連続した天気変化を時間とともに学習するために、マルチヘッドアテンション機構を備えた連続時間ニューラルODE層を組み込んでいる。 STC-ViTは,操作型数値天気予報(NWP)モデルと,深層学習に基づく天気予報モデルとを比較した。
  論文  参考訳（メタデータ） (2024-02-28T01:15:30Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。