論文の概要: Curvature-aware dynamic precision approach for physics-informed neural networks

• arxiv url: http://arxiv.org/abs/2606.04736v1
• Date: Wed, 03 Jun 2026 11:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.702128
• Title: Curvature-aware dynamic precision approach for physics-informed neural networks
• Title（参考訳）: 物理インフォームドニューラルネットワークの曲率を考慮した動的精度アプローチ
• Authors: Yingjie Shao, Ioannis N. Athanasiadis, George van Voorn, Taniya Kapoor,
• Abstract要約: 近年の研究では、PINNの最適化は数値精度に敏感であることが示されている。 既存の実装では、シングル精度(FP32)またはダブル精度(FP64)が一般的である。 本稿では,学習中の数値精度に適応する曲率認識精度制御器を提案する。
• 参考スコア（独自算出の注目度）: 3.687363450234871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physics-informed neural networks (PINNs) have become a promising framework for simulating partial differential equations (PDEs) by embedding physical laws directly into neural network training. However, recent studies show that PINN optimisation is sensitive to numerical precision. Existing implementations commonly use either single precision (FP32), which is computationally efficient but prone to failure modes, or double precision (FP64), which is robust but substantially expensive. This creates a trade-off between computational efficiency and numerical accuracy. To reduce the computational cost of double-precision training while retaining prediction accuracy, we propose a curvature-aware precision controller that adapts numerical precision during training rather than treating it as a fixed implementation choice. The proposed method reuses curvature information derived from the limited-memory BFGS (L-BFGS) optimiser to construct a precision controller, retaining FP32 when lower precision is sufficient and promoting computation to FP64 when the training dynamics indicate numerical sensitivity or precision-limited stagnation. We evaluate the proposed approach on four canonical PINN failure-mode benchmarks and an irradiance-driven ordinary differential equation example. We further test the proposed approach across different neural network architectures. The method consistently matches or even slightly exceeds full FP64 solution accuracy while reducing training time relative to full double-precision training on all benchmark equations. The obtained results indicate that precision sensitivity in PINN optimisation is phase-dependent, and that selectively applying higher precision only during numerically critical stages can lower computational cost without sacrificing predictive accuracy.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理法則を直接ニューラルネットワークトレーニングに埋め込むことで、偏微分方程式(PDE)をシミュレートするための有望なフレームワークとなっている。 しかし、最近の研究では、PINNの最適化は数値精度に敏感であることが示されている。 既存の実装ではシングル精度 (FP32) が一般的で、計算効率は良く、故障モードがよく、あるいは倍精度 (FP64) が頑丈だがかなり高価である。 これにより計算効率と数値精度のトレードオフが生じる。 予測精度を維持しつつ、二重精度トレーニングの計算コストを低減するため、固定実装選択として扱うのではなく、トレーニング中に数値精度を適応させる曲率認識精度制御器を提案する。 提案手法は、リミテッドメモリBFGS(L-BFGS)オプティマイザから得られた曲率情報を再利用して精度制御器を構築し、低い精度でFP32を維持し、トレーニングダイナミクスが数値感度や精度制限の停滞を示す場合、FP64に演算を促進させる。 提案手法を4つの標準PINN故障モードベンチマークと照射駆動常微分方程式の例で評価する。 さらに、さまざまなニューラルネットワークアーキテクチャにまたがる提案されたアプローチをテストします。 この手法は全FP64解の精度を常に一致またはわずかに上回り、全てのベンチマーク方程式の完全倍精度トレーニングと比較してトレーニング時間を短縮する。 その結果,PINN最適化における精度感度は位相依存であり,数値臨界段階のみに高い精度を選択的に適用することで,予測精度を犠牲にすることなく計算コストを低減できることが示唆された。

関連論文リスト

• Precision Autotuning for Linear Solvers via Reinforcement Learning [0.0]
  本稿では,線形解法の適応的精度調整のための強化学習フレームワークを提案する。 本稿では,2次精度のベースラインに匹敵する精度を維持しながら,計算コストを削減できることを示す。 これはRLによる精度自動チューニングに関する最初の研究であり、目に見えないデータセット上で検証されている。
  論文  参考訳（メタデータ） (2026-01-02T15:59:42Z)
• Mixed Precision Training of Neural ODEs [1.3382837742547355]
  本稿では,ニューラルネットワークのための混合精度学習フレームワークを提案する。 明示的なODEソルバとカスタムバックプロパゲーションスキームを組み合わせる。 約50%のメモリ削減と最大2倍のスピードアップを実現し、精度は単精度トレーニングに匹敵する。
  論文  参考訳（メタデータ） (2025-10-27T16:32:56Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
  浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。 ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。 本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:02:55Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Training Neural Networks in Single vs Double Precision [8.036150169408241]
  共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。 実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。 強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
  論文  参考訳（メタデータ） (2022-09-15T11:20:53Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。