Fugu-MT 論文翻訳(概要): Gradient-Update Mismatch: Rethinking Conflict-Free Training of Physics-Informed Neural Networks

論文の概要: Gradient-Update Mismatch: Rethinking Conflict-Free Training of Physics-Informed Neural Networks

arxiv url: http://arxiv.org/abs/2609.01558v1
Date: Tue, 01 Sep 2026 17:20:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-02 16:31:36.892163
Title: Gradient-Update Mismatch: Rethinking Conflict-Free Training of Physics-Informed Neural Networks
Title（参考訳）: グラディエント・アップデート・ミスマッチ:物理インフォームニューラルネットワークの衝突のないトレーニング再考
Authors: Jing Xiao, Xinhai Chen, Qinglin Wang, Menghan Jia, Zhiquan Lai, Dongsheng Li, Jie Liu, Tiejun Li,
Abstract要約: グラディエント手術法は、変換前の競合を減らすために、損失特異的勾配からの方向を設定することでこの問題を軽減する。 a_t$は勾配手術によって構築された方向、$u_t$は提案、$mathcalC_t$は損失特異的勾配によって誘導される競合のない勾配を表す。我々は、Gradient-Update Alignment (GUA)を提案する。これは、$u_t$をmathcalC_t$に投射し、一致した更新を$p_t$とし、パラメータに$p_t$を適用する。
参考スコア（独自算出の注目度）: 29.66774607766935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training Physics-Informed Neural Networks (PINNs) requires jointly optimizing physics residual and initial/boundary condition loss terms, which often induce conflicting gradients. Gradient surgery methods mitigate this issue by constructing directions from loss-specific gradients to reduce conflict before optimizer transformation. However, even when the constructed direction is conflict-free, this property may not be preserved after optimizer transformation. Let $a_t$ denote the direction constructed by gradient surgery, $u_t$ the optimizer proposal, and $\mathcal{C}_t$ the conflict-free cone induced by the loss-specific gradients. We show that modern optimizers can transform $a_t$ through mechanisms such as historical state, adaptive scaling, preconditioning, or decoupled weight decay, so $a_t \in \mathcal{C}_t$ does not generally imply $u_t \in \mathcal{C}_t$. We refer to this optimizer-induced discrepancy in conflict-freeness between $a_t$ and $u_t$ as Gradient-Update Mismatch (GUM). Accordingly, we propose Gradient-Update Alignment (GUA), which projects $u_t$ onto $\mathcal{C}_t$ to obtain the aligned update $p_t$ and applies $p_t$ to the parameters. When the optimizer maintains internal state, GUA further adjusts this state toward targets reconstructed from the applied update. We conduct extensive experiments and find that GUM is widespread across momentum, adaptive, and curvature-based optimizers, with conflict rates reaching up to 86.3%. Across all PINN settings, GUA achieves conflict-free applied updates and consistently improves various gradient surgery methods, reducing the relative $L_2$ error by up to 98.2% in individual settings. Data and code are available at https://github.com/JingXiao10/GUA.
Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)のトレーニングでは、物理残差と初期/境界条件の損失項を共同で最適化する必要がある。グラディエント手術法は、最適変換前の競合を軽減するために、損失特異的勾配からの方向を設定することでこの問題を軽減する。しかし、構築方向が衝突のない場合でも、この特性はオプティマイザ変換後に保存されない。 a_t$は、勾配手術によって構築された方向、$u_t$はオプティマイザの提案、$\mathcal{C}_t$は、損失特異的勾配によって誘導される競合のない円錐を表す。現代のオプティマイザは、履歴状態、適応スケーリング、プレコンディショニング、デカップリングウェイト崩壊などのメカニズムを通じて$a_t$を変換できるので、$a_t \in \mathcal{C}_t$は一般に$u_t \in \mathcal{C}_t$を含まない。本稿では、この最適化によって引き起こされた、$a_t$ と $u_t$ の競合のない不一致を Gradient-Update Mismatch (GUM) と呼ぶ。そこで我々は,Gradient-Update Alignment (GUA)を提案する。これは$u_t$を$\mathcal{C}_t$にプロジェクションすることで,一致した更新を$p_t$とし,パラメータに$p_t$を適用する。オープティマイザが内部状態を維持すると、GUAはこの状態を、適用された更新から再構築されたターゲットに向けてさらに調整する。我々は広範な実験を行い、GUMは運動量、適応性、および曲率に基づく最適化にまたがっており、競合率は86.3%に達することを発見した。全てのPINN設定全体で、GUAはコンフリクトフリーのアプリケーション更新を達成し、様々な勾配手術法を一貫して改善し、個々の設定でL_2$エラーを98.2%まで削減した。データとコードはhttps://github.com/JingXiao10/GUA.comで入手できる。

論文の概要: Gradient-Update Mismatch: Rethinking Conflict-Free Training of Physics-Informed Neural Networks

関連論文リスト