論文の概要: Resolving gradient pathology in physics-informed epidemiological models

• arxiv url: http://arxiv.org/abs/2603.23799v1
• Date: Wed, 25 Mar 2026 00:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.065789
• Title: Resolving gradient pathology in physics-informed epidemiological models
• Title（参考訳）: 物理学インフォームド疫学モデルにおける解決的勾配病理学
• Authors: Nickson Golooba, Woldegebriel Assefa Woldegerima,
• Abstract要約: 疫学モデリングのための物理インフォームドニューラルネットワークにおける勾配競合に対処する新しい手法であるコンフリクトゲート勾配スケーリング(CGGS)を提案する。 正規化のみを行うスキームとは異なり、CGGSはコンフリクトが高い場合の物理的な制約を抑え、データの忠実度を優先することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks (PINNs) are increasingly used in mathematical epidemiology to bridge the gap between noisy clinical data and compartmental models, such as the susceptible-exposed-infected-removed (SEIR) model. However, training these hybrid networks is often unstable due to competing optimization objectives. As established in recent literature on ``gradient pathology," the gradient vectors derived from the data loss and the physical residual often point in conflicting directions, leading to slow convergence or optimization deadlock. While existing methods attempt to resolve this by balancing gradient magnitudes or projecting conflicting vectors, we propose a novel method, conflict-gated gradient scaling (CGGS), to address gradient conflicts in physics-informed neural networks for epidemiological modelling, ensuring stable and efficient training and a computationally efficient alternative. This method utilizes the cosine similarity between the data and physics gradients to dynamically modulate the penalty weight. Unlike standard annealing schemes that only normalize scales, CGGS acts as a geometric gate: it suppresses the physical constraint when directional conflict is high, allowing the optimizer to prioritize data fidelity, and restores the constraint when gradients align. We prove that this gating mechanism preserves the standard $O(1/T)$ convergence rate for smooth non-convex objectives, a guarantee that fails under fixed-weight or magnitude-balanced training when gradients conflict. We demonstrate that this mechanism autonomously induces a curriculum learning effect, improving parameter estimation in stiff epidemiological systems compared to magnitude-based baselines. Our empirical results show improved peak recovery and convergence over magnitude-based methods.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、ノイズのある臨床データと包括的モデルのギャップを埋めるために数学疫学でますます使われてきている。 しかし、これらのハイブリッドネットワークのトレーニングは、しばしば競合する最適化の目的のために不安定である。 最近の『段階的病理学』で確立されているように、データ損失と物理的残留から導かれる勾配ベクトルは、しばしば矛盾する方向を指し、収束が遅くなり、デッドロックが最適化される。 既存の手法では、勾配の等級のバランスをとることや、矛盾するベクトルを投影することによる解決を試みているが、我々は、物理インフォームドニューラルネットワークによる疫学モデリングのための勾配の競合に対処し、安定かつ効率的なトレーニングを確実にし、計算効率の良い代替手段であるCGGS(コンフリクトゲート勾配スケーリング)を提案する。 この方法は、データと物理勾配のコサイン類似性を利用して、ペナルティウェイトを動的に変調する。 スケールのみを正規化する標準的なアニール方式とは異なり、CGGSは幾何学的なゲートとして機能し、方向の衝突が大きいときの物理的制約を抑え、最適化器がデータの忠実度を優先順位付けし、勾配が整ったときの制約を復元する。 このゲーティング機構は, 勾配が矛盾する場合, 一定の重み付けや等級バランスのトレーニングで失敗するスムーズな非凸目標に対して, 標準の$O(1/T)$収束率を保っていることを証明した。 本研究では,このメカニズムがカリキュラム学習効果を自律的に引き起こし,等級ベースラインと比較して硬質疫学システムにおけるパラメータ推定を改善することを実証する。 実験の結果, ピーク回復と収束性は, 等級法よりも向上した。

関連論文リスト

• Correlations Are Ruining Your Gradient Descent [0.6768558752130311]
  自然勾配降下は、最も急勾配の方向を示す勾配ベクトルが、損失景観の局所曲率を考慮することにより、どのように改善されるかを照らしている。 ニューラルネットワークの各層におけるノード応答を含む,任意の線形変換におけるデータの相関が,モデルパラメータ間の非正規的関係を生じさせることを示す。 本稿では,ノード出力のデコレーションと白化のために提案された手法について述べるとともに,これを拡張し,分散コンピューティングや計算神経科学に特に有用な新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-15T14:59:43Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Neural variational Data Assimilation with Uncertainty Quantification using SPDE priors [28.804041716140194]
  ディープラーニングコミュニティの最近の進歩は、ニューラルネットワークと変分データ同化フレームワークを通じて、この問題に対処することができる。 本研究では、部分微分方程式(SPDE)とガウス過程(GP)の理論を用いて状態の空間的および時間的共分散を推定する。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。