論文の概要: Automatic Differentiation from Scratch: How PyTorch Computes Gradients in Physics-Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2607.13042v1
- Date: Sat, 13 Jun 2026 11:24:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-19 21:54:20.40917
- Title: Automatic Differentiation from Scratch: How PyTorch Computes Gradients in Physics-Informed Neural Networks
- Title（参考訳）: スクラッチからの自動微分:物理インフォームドニューラルネットワークにおけるPyTorch計算法
- Abstract要約: PyTorchの自動微分(AD)エンジンは、物理インフォームドニューラルネットワーク(PINN)トレーニングの勾配を計算する。
本稿では,PyTorchがPINNトレーニングの勾配を計算する方法を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper traces, with explicit numerical values, how PyTorch's automatic differentiation (AD) engine computes gradients for Physics-Informed Neural Network (PINN) training -- a setting that requires two levels of differentiation: computing the physics derivative $\hat{y}'(t)=d\hat{y}/dt$ through the network, and computing parameter gradients $\nabla_θL$ of a loss that itself depends on $\hat{y}'(t)$. Using a 1-3-3-1 multilayer perceptron and the initial value problem $y'(t)+y(t)=0$, $y(0)=1$, we trace the complete pipeline at every node: the computational graph built during the forward pass, the reverse-mode backward traversal that computes all 22 parameter gradients in a single pass, and the graph-on-graph mechanism by which \texttt{create\_graph=True} enables correct differentiation through the physics-informed residual. Every adjoint value is verified against the hand derivations of Tahimi (2026), connecting the $P/Q$ sensitivity framework to the vector--Jacobian products used by PyTorch's autograd engine.
- Abstract（参考訳）: 本論文は,PyTorchの自動微分(AD)エンジンが物理インフォームドニューラルネットワーク(PINN)トレーニングの勾配を計算する方法,すなわち,ネットワークを介して物理微分を演算する$\hat{y}'(t)=d\hat{y}/dt$と,それ自体が$\hat{y}'(t)$に依存する損失に対して$\nabla_θL$という2段階の微分を必要とする設定をトレースする。
1-3-3-1 の多重層パーセプトロンと初期値問題 $y'(t)+y(t)=0$, $y(0)=1$ を用いて、全てのノードで完全なパイプラインをトレースする: 前方通過の間に構築された計算グラフ、単一のパスで22のパラメータ勾配を全て計算する逆モードの逆向きのトラバーサル、そして 'texttt{create\_graph=True} が物理インフォームド残差による正確な微分を可能にするグラフオングラフ機構。
任意の随伴値は、P/Q$感度フレームワークをPyTorchのオートグレードエンジンで使用されるベクトル-ヤコビアン積に接続するタヒミ(2026)の手導関数に対して検証される。
関連論文リスト
- Efficient Mean Curvature Computation on High-Dimensional Data Manifolds [52.452902154360565]
高次元データセットの各点における局所的な平均曲率の推定は、機械学習アルゴリズムの重要な要素である。
本稿では,このコストを桁違いに削減する2つの補完的貢献を紹介する。
実世界のデータセットの実験では、オリジナルの実装と比較して50倍から300倍のスピードアップが確認されている。
論文 参考訳（メタデータ） (2026-06-04T16:04:31Z) - When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains [0.0]
msatは複素幾何学問題に対する最先端の一般化を実現する。
textbfMulti-Scale Attention Transformer (msat)は、ソリューション履歴をトークンシーケンスとしてエンコードし、エンドツーエンドにトレーニングする。
論文 参考訳（メタデータ） (2026-05-08T15:23:13Z) - Physics-Informed Neural Networks: A Didactic Derivation of the Complete Training Cycle [0.0]
本稿では,物理インフォームドニューラルネットワークの完全学習サイクルの自己完結型ガイドである。
Jupyter/PyTorchノートブックは、すべての手動計算と完全なトレーニングパイプラインを再現する。
論文 参考訳（メタデータ） (2026-04-20T16:34:47Z) - Lightweight and Interpretable Transformer via Mixed Graph Algorithm Unrolling for Traffic Forecast [28.36772736512295]
我々は、混合グラフに基づく最適化アルゴリズムをアンロールすることで、軽量で解釈可能なトランスフォーマーのようなニューラルネットを構築する。
グラフ学習モジュールを$mathcalGu$と$mathcalGd$に挿入します。
実験により,我々の未登録ネットワークは,最先端の予測スキームとして,競争力のあるトラフィック予測性能を達成することが示された。
論文 参考訳（メタデータ） (2025-05-19T13:32:34Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。
正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。
また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
論文 参考訳（メタデータ） (2025-04-11T06:16:30Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - Entanglement scaling for $\lambda\phi_2^4$ [0.0]
次数パラメータ$phi$、相関長$xi$、および$phi3$のような量と絡み合いエントロピーが有用な二重スケーリング特性を示すことを示す。
臨界点に対して$alpha_c=11.09698(31)$という値が見つかる。
論文 参考訳（メタデータ） (2021-04-21T14:43:12Z) - Differentially Quantized Gradient Methods [53.3186247068836]
微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。
あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
論文 参考訳（メタデータ） (2020-02-06T20:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。