論文の概要: Staged Depth Training: A Representation Curriculum for PINNs
- arxiv url: http://arxiv.org/abs/2609.30299v1
- Date: Fri, 21 Aug 2026 18:05:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.134219
- Title: Staged Depth Training: A Representation Curriculum for PINNs
- Title（参考訳）: 段階的深度トレーニング:PINNの表現カリキュラム
- Abstract要約: テキスト表現カリキュラム(textbfrepresentation curriculum)は,表現を明示的に学習し,予測者から独立して伝達し,段階的に洗練するプロセスである。
そこで我々は,SDT(Staged Depth Training)を用いて,仮設物理インフォームドヘッドの下で浅いプレフィックスを訓練し,ヘッドを廃棄し,方程式固有のエンコーディングや最終アーキテクチャの変更なしに深度を付加しながら学習したプレフィックスを凍結する。
これらの結果は,デプロイされたアーキテクチャと推論コストを維持しつつ,PINNを改善するための有望なトレーニング戦略として表現カリキュラムをサポートする。
- 参考スコア（独自算出の注目度）: 6.871532462700215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation quality is a central determinant of PINNs' performance, yet standard training leaves representations to emerge implicitly while fitting the final solution. We introduce \textbf{representation curriculum}, an ordered process in which representations are explicitly learned, transferred independently of their predictors, and progressively refined. We realize it with Staged Depth Training (SDT), which trains a shallow prefix under a temporary physics-informed head, discards the head, and freezes the learned prefix while adding depth, without equation-specific encodings or changes to the final architecture. Across the 20 default forward problems in PINNacle with three backbones, SDT improves 40 of 59 equal-budget problem--backbone cells by at least 5\% and remains within that band in the rest, with a 32.8\% geometric-mean error reduction on a PirateNet-style backbone. Mechanistic ablations suggest that the gain is not explained by optimizer restarts or shallow warm-starting alone. Representation visualizations and hyperparameter-basin analyses provide diagnostic evidence on representation geometry and local sensitivity to shared hyperparameters. On Poisson--Boltzmann 2D, SDT also more than doubles the fitted depth-scaling exponent for both backbones. These results support representation curriculum as a promising training strategy for improving PINNs while preserving the deployed architecture and inference cost.
- Abstract（参考訳）: 表現品質はPINNのパフォーマンスの中心的な決定要因であるが、標準的なトレーニングでは、最終的なソリューションに適合しながら暗黙的に表現が現れる。
本稿では,表現が明示的に学習され,予測子から独立して伝達され,段階的に洗練される,順序付けられたプロセスである「textbf{representation curriculum」を紹介する。
そこで我々は,SDT(Staged Depth Training)を用いて,仮設物理インフォームドヘッドの下で浅いプレフィックスを訓練し,ヘッドを廃棄し,方程式固有のエンコーディングや最終アーキテクチャの変更なしに深度を付加しながら学習したプレフィックスを凍結する。
3つのバックボーンを持つPINNacleの20のデフォルトのフォワード問題の中で、SDTは59のイコバッジ問題-バックボーンセルの40を少なくとも5\%改善し、残りのバンド内に留まり、PirateNetスタイルのバックボーンに32.8\%の幾何学的平均誤差を減少させる。
メカニカル・アブレーション(Mechanistic ablations)は、オプティマイザの再起動や浅いウォームスタートだけでは利得を説明できないことを示唆している。
表現可視化とハイパーパラメータ・ベーシン分析は、共有ハイパーパラメータに対する表現幾何学と局所感度の診断的証拠を提供する。
Poisson--Boltzmann 2Dでは、SDTは両背骨に装着された深さスケーリング指数を2倍以上にする。
これらの結果は,デプロイされたアーキテクチャと推論コストを維持しつつ,PINNを改善するための有望なトレーニング戦略として表現カリキュラムをサポートする。
関連論文リスト
- LIGO-PINN: Learned Initialization via Gated Optimization to Alleviate Convergence Failures in Physics Informed Neural Networks [4.769951565159109]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配されるモデリング領域に幅広い影響を及ぼした。
PINNは、PDEドメインに挑戦するときに、しばしば自明な解決策に収束する、パフォーマンスが良くないことが示されている。
Gated Layerwise Optimization (LIGO-PINN) による学習初期化のためのフレームワークを提案し、PINN収束障害を克服する。
論文 参考訳（メタデータ） (2026-07-15T18:00:44Z) - Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。
NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。
このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-06-15T02:05:37Z) - SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。
本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T14:14:17Z) - PIP$^2$ Net: Physics-informed Partition Penalty Deep Operator Network [0.0]
演算子学習はパラメータ化偏微分方程式(PDE)の解を加速する強力なツールとなった
DeepONet や Fourier Neural Operator (FNO) のような既存のアーキテクチャは、強いパフォーマンスを示すが、しばしば大規模なトレーニングデータセットを必要とする。
PIP$2$Netを導入し、予測精度と表現性において、DeepONet、PI-ONet、POU-DeepONetを一貫して上回っている。
論文 参考訳（メタデータ） (2025-12-17T05:04:41Z) - UniDepthV2: Universal Monocular Metric Depth Estimation Made Simpler [62.06785782635153]
ドメインをまたいだ単一の画像からメートル法3Dシーンを再構成できる新しいモデルUniDepthV2を提案する。
UniDepthV2は、追加情報なしで、入力画像から推論時にメートル法3Dポイントを直接予測する。
我々のモデルは擬似球面出力表現を利用し、カメラと深度表現をアンタングル化する。
論文 参考訳（メタデータ） (2025-02-27T14:03:15Z) - Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。
我々は,各地真実の周囲に凸景観を形成する学習を提案する。
論文 参考訳（メタデータ） (2024-11-16T01:13:04Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving
Spatiotemporal PDEs [8.220908558735884]
偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。
近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。
本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
論文 参考訳（メタデータ） (2021-06-26T22:22:19Z) - Locally Aware Piecewise Transformation Fields for 3D Human Mesh
Registration [67.69257782645789]
本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。
パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
論文 参考訳（メタデータ） (2021-04-16T15:16:09Z) - Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。
ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。
Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
論文 参考訳（メタデータ） (2020-11-03T02:57:01Z) - 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial
Learning [54.24887282693925]
本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。
既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。
実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
論文 参考訳（メタデータ） (2020-09-30T17:12:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。