論文の概要: MILP initialization for solving parabolic PDEs with PINNs

• arxiv url: http://arxiv.org/abs/2501.16153v1
• Date: Mon, 27 Jan 2025 15:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:16.281572
• Title: MILP initialization for solving parabolic PDEs with PINNs
• Title（参考訳）: PINNを用いたパラボリックPDEのMILP初期化
• Authors: Sirui Li, Federica Bragone, Matthieu Barreau, Kateryna Morozovska,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。 ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的手法と比較しても制限される。
• 参考スコア（独自算出の注目度）: 2.5932373010465364
• License:
• Abstract: Physics-Informed Neural Networks (PINNs) are a powerful deep learning method capable of providing solutions and parameter estimations of physical systems. Given the complexity of their neural network structure, the convergence speed is still limited compared to numerical methods, mainly when used in applications that model realistic systems. The network initialization follows a random distribution of the initial weights, as in the case of traditional neural networks, which could lead to severe model convergence bottlenecks. To overcome this problem, we follow current studies that deal with optimal initial weights in traditional neural networks. In this paper, we use a convex optimization model to improve the initialization of the weights in PINNs and accelerate convergence. We investigate two optimization models as a first training step, defined as pre-training, one involving only the boundaries and one including physics. The optimization is focused on the first layer of the neural network part of the PINN model, while the other weights are randomly initialized. We test the methods using a practical application of the heat diffusion equation to model the temperature distribution of power transformers. The PINN model with boundary pre-training is the fastest converging method at the current stage.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。 ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的な手法と比較しても制限され、主に現実的なシステムをモデル化するアプリケーションで使用される。 ネットワークの初期化は、従来のニューラルネットワークのように初期重みのランダムな分布に従うため、モデル収束ボトルネックが深刻になる可能性がある。 この問題を解決するために、従来のニューラルネットワークにおいて最適な初期重みを扱う現在の研究に従う。 本稿では、凸最適化モデルを用いて、PINNにおける重みの初期化を改善し、収束を加速する。 本稿では,2つの最適化モデルを,事前学習として定義した最初のトレーニングステップとして,境界のみを含む1つ,物理を含む1つとして検討する。 最適化は、PINNモデルのニューラルネットワーク部分の第1層に焦点を合わせ、他の重みはランダムに初期化される。 電力変圧器の温度分布をモデル化するために, 熱拡散方程式の実用的応用を用いて実験を行った。 境界事前学習を用いたPINNモデルは,現段階では最速の収束法である。

関連論文リスト

• Scalable Imaginary Time Evolution with Neural Network Quantum States [0.0]
  ニューラルネットワーク量子状態(NQS)としての量子波関数の表現は、多体量子系の基底状態を見つけるための強力な変分アンサッツを提供する。 我々は、計量テンソルの計算をバイパスするアプローチを導入し、代わりにユークリッド計量を用いた一階降下にのみ依存する。 我々は,NQSのエネルギーが減少するまで最適な時間ステップを決定し,目標を固定し,適応的に安定させる。
  論文  参考訳（メタデータ） (2023-07-28T12:26:43Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Transfer Learning with Physics-Informed Neural Networks for Efficient Simulation of Branched Flows [1.1470070927586016]
  物理インフォームドニューラルネットワーク(PINN)は微分方程式を解くための有望なアプローチを提供する。 PINNに対して最近開発されたトランスファー学習アプローチを採用し,マルチヘッドモデルを提案する。 提案手法は,スクラッチからトレーニングした標準PINNと比較して,計算速度が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-11-01T01:50:00Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• On feedforward control using physics-guided neural networks: Training cost regularization and optimized initialization [0.0]
  モデルベースのフィードフォワードコントローラの性能は、典型的には逆システム力学モデルの精度によって制限される。 本稿では,特定物理パラメータを用いた正規化手法を提案する。 実生活の産業用リニアモーターで検証され、追跡精度と外挿の精度が向上する。
  論文  参考訳（メタデータ） (2022-01-28T12:51:25Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Physics-Informed Neural Network Method for Solving One-Dimensional Advection Equation Using PyTorch [0.0]
  PINNのアプローチは、最適化の強い制約としてPDEを尊重しながらニューラルネットワークのトレーニングを可能にします。 標準的な小規模循環シミュレーションでは、従来のアプローチは乱流拡散モデルの効果とほぼ同じ大きさの擬似拡散効果を組み込むことが示されている。 テストされた全てのスキームのうち、ピンズ近似のみが結果を正確に予測した。
  論文  参考訳（メタデータ） (2021-03-15T05:39:17Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。