論文の概要: Mask-PINNs: Mitigating Internal Covariate Shift in Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2505.06331v3
• Date: Mon, 01 Sep 2025 14:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 14:24:52.334572
• Title: Mask-PINNs: Mitigating Internal Covariate Shift in Physics-Informed Neural Networks
• Title（参考訳）: Mask-PINN:物理インフォームドニューラルネットワークにおける内部共変量シフトの緩和
• Authors: Feilong Jiang, Xiaonan Hou, Jianqiao Ye, Min Xia,
• Abstract要約: PINNは偏微分方程式を解くための強力なフレームワークとして登場した。 特徴分布を制御するための学習可能なマスク関数であるMask-PINNを提案する。 その結果, 予測精度, 収束安定性, 頑健性は一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 1.2667864219315372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have emerged as a powerful framework for solving partial differential equations (PDEs) by embedding physical laws directly into the loss function. However, as a fundamental optimization issue, internal covariate shift (ICS) hinders the stable and effective training of PINNs by disrupting feature distributions and limiting model expressiveness. Unlike standard deep learning tasks, conventional remedies for ICS -- such as Batch Normalization and Layer Normalization -- are not directly applicable to PINNs, as they distort the physical consistency required for reliable PDE solutions. To address this issue, we propose Mask-PINNs, a novel architecture that introduces a learnable mask function to regulate feature distributions while preserving the underlying physical constraints of PINNs. We provide a theoretical analysis showing that the mask suppresses the expansion of feature representations through a carefully designed modulation mechanism. Empirically, we validate the method on multiple PDE benchmarks -- including convection, wave propagation, and Helmholtz equations -- across diverse activation functions. Our results show consistent improvements in prediction accuracy, convergence stability, and robustness. Furthermore, we demonstrate that Mask-PINNs enable the effective use of wider networks, overcoming a key limitation in existing PINN frameworks.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理法則を直接損失関数に埋め込むことで偏微分方程式(PDE)を解くための強力なフレームワークとして登場した。 しかし、基本的な最適化問題として、内部共変量シフト(ICS)は、特徴分布の破壊とモデル表現性の制限により、PINNの安定かつ効果的な訓練を妨げる。 通常のディープラーニングタスクとは異なり、バッチ正規化やレイヤ正規化のようなICSの従来の治療法は、信頼できるPDEソリューションに必要な物理的一貫性を歪めるため、PINNに直接適用されない。 この問題に対処するため,我々は,PINNの基盤となる物理的制約を保ちながら,特徴分布を制御するための学習可能なマスク関数を導入した新しいアーキテクチャであるMask-PINNを提案する。 本稿では,マスクが慎重に設計した変調機構によって特徴表現の拡大を抑制することを示す理論的解析を行う。 実験により, 種々の活性化関数に対して, 対流, 波動伝搬, ヘルムホルツ方程式を含む複数のPDEベンチマーク上で本手法を検証した。 その結果, 予測精度, 収束安定性, 頑健性は一貫した改善が見られた。 さらに、Mask-PINNは、既存のPINNフレームワークにおいて重要な制限を克服し、より広範なネットワークを効果的に活用できることを実証する。

関連論文リスト

• HyResPINNs: Hybrid Residual Networks for Adaptive Neural and RBF Integration in Solving PDEs [22.689531776611084]
  本稿では,標準ニューラルネットワークと放射基底関数ネットワークを統合した適応型ハイブリッド残差ブロックを特徴とする新しいPINNであるHyResPINNを紹介する。 HyResPINNsの特徴は、各残差ブロック内で適応的な組み合わせパラメータを使用することで、ニューラルネットワークとRBFネットワークの動的重み付けを可能にすることである。
  論文  参考訳（メタデータ） (2024-10-04T16:21:14Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Physics-Informed Neural Networks with Trust-Region Sequential Quadratic Programming [4.557963624437784]
  最近の研究によると、物理情報ニューラルネットワーク(PINN)は比較的複雑な部分微分方程式(PDE)を学習できない可能性がある。 本稿では, 信頼領域逐次準計画法(trSQP-PINN)を導入し, PINNの障害モードに対処する。 PINNのようにペナル化ソフト制約損失を直接訓練するのに対し,本手法はソフト制約損失を利用して信頼範囲半径を適応的に調整しながら,ハード制約損失の線形2次近似を行う。
  論文  参考訳（メタデータ） (2024-09-16T23:22:12Z)
• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• Collocation-based Robust Variational Physics-Informed Neural Networks (CRVPINN) [0.0]
  物理インフォームドニューラルネットワーク(PINN)は部分微分方程式(PDE)の解法として成功している Robust Variational Physics-Informed Neural Networks (RVPINNs) の最近の研究は、基礎となる連続空間のノルムを離散レベルに便利に翻訳することの重要性を強調している。 本研究ではRVPINNの実装を加速し、元のPINNと同じ精神を持つ点配置方式でスパースグラム行列のLU分解を確立する。
  論文  参考訳（メタデータ） (2024-01-04T14:42:29Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Input-gradient space particle inference for neural network ensembles [32.64178604645513]
  FoRDE (First-order Repulsive Deep Ensemble) は、ParVIに基づくアンサンブル学習手法である。 画像分類データセットと転写学習タスクの実験は、FORDEがゴールドスタンダードのDsよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-05T11:00:11Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
  段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。 与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。 この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
  論文  参考訳（メタデータ） (2023-02-25T19:11:44Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism [1.6114012813668932]
  非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-07T04:07:52Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。