論文の概要: BO-SA-PINNs: Self-adaptive physics-informed neural networks based on Bayesian optimization for automatically designing PDE solvers

• arxiv url: http://arxiv.org/abs/2504.09804v1
• Date: Mon, 14 Apr 2025 02:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:48:47.811373
• Title: BO-SA-PINNs: Self-adaptive physics-informed neural networks based on Bayesian optimization for automatically designing PDE solvers
• Title（参考訳）: BO-SA-PINNs:ベイズ最適化に基づく自己適応型物理インフォームドニューラルネットワークによるPDEソルバの自動設計
• Authors: Rui Zhang, Liang Li, Stéphane Lanteri, Hao Kang, Jiaqi Li,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として一般的な方法である PINNは、ネットワークのハイパーパラメータ、サンプリング方法、異なるPDEに対する損失関数重み付けを専用の手動で修正する必要がある。 この問題を軽減するため,BO-SA-PINNと呼ばれる汎用多段階フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.048817629665649
• License:
• Abstract: Physics-informed neural networks (PINNs) is becoming a popular alternative method for solving partial differential equations (PDEs). However, they require dedicated manual modifications to the hyperparameters of the network, the sampling methods and loss function weights for different PDEs, which reduces the efficiency of the solvers. In this paper, we pro- pose a general multi-stage framework, i.e. BO-SA-PINNs to alleviate this issue. In the first stage, Bayesian optimization (BO) is used to select hyperparameters for the training process, and based on the results of the pre-training, the network architecture, learning rate, sampling points distribution and loss function weights suitable for the PDEs are automatically determined. The proposed hyperparameters search space based on experimental results can enhance the efficiency of BO in identifying optimal hyperparameters. After selecting the appropriate hyperparameters, we incorporate a global self-adaptive (SA) mechanism the second stage. Using the pre-trained model and loss information in the second-stage training, the exponential moving average (EMA) method is employed to optimize the loss function weights, and residual-based adaptive refinement with distribution (RAR-D) is used to optimize the sampling points distribution. In the third stage, L-BFGS is used for stable training. In addition, we introduce a new activation function that enables BO-SA-PINNs to achieve higher accuracy. In numerical experiments, we conduct comparative and ablation experiments to verify the performance of the model on Helmholtz, Maxwell, Burgers and high-dimensional Poisson equations. The comparative experiment results show that our model can achieve higher accuracy and fewer iterations in test cases, and the ablation experiments demonstrate the positive impact of every improvement.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として人気がある。 しかし、それらはネットワークのハイパーパラメータ、サンプリング方法、異なるPDEに対する損失関数重み付けを専用の手動で修正する必要があるため、ソルバの効率は低下する。 本稿では,この問題を緩和するために,BO-SA-PINNと呼ばれる汎用多段階フレームワークをプロポーズする。 第1段階では、トレーニングプロセスのハイパーパラメータの選択にベイズ最適化(BO)を用い、事前トレーニングの結果に基づいて、PDEに適したネットワークアーキテクチャ、学習率、サンプリングポイント分布、損失関数重み付けを自動的に決定する。 実験結果に基づいて提案したハイパーパラメータ探索空間は,最適なハイパーパラメータを同定する際のBOの効率を高めることができる。 適切なハイパーパラメータを選択した後、第2段階にグローバル自己適応(SA)機構を組み込む。 予備訓練モデルと第2段階トレーニングにおける損失情報を用いて、損失関数重み付けを最適化するために指数移動平均(EMA)法を用い、サンプリング点分布を最適化するために、分布を用いた残留型適応改善(RAR-D)を用いる。 第3段階では、L-BFGSは安定した訓練に使用される。 さらに,BO-SA-PINNの精度向上を実現する新たなアクティベーション機能を導入する。 数値実験では,Helmholtz,Maxwell,Burgersおよび高次元ポアソン方程式のモデルの性能を検証するために,比較およびアブレーション実験を行った。 比較実験の結果,テストケースの精度が向上し,イテレーションが少なくなることが示され,アブレーション実験はすべての改善の肯定的な影響を示す。

関連論文リスト

• PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations [5.4087282763977855]
  本稿では,ガウス関数を用いた特徴埋め込みと軽量ニューラルネットワークを組み合わせた物理インフォームドガウス(PIG)を提案する。 提案手法では,各ガウス平均と分散にトレーニング可能なパラメータを用い,トレーニング中の位置と形状を動的に調整する。 実験の結果,複雑なPDEを解くための堅牢なツールとしての可能性を示した。
  論文  参考訳（メタデータ） (2024-12-08T16:58:29Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
  物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。 本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。 適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
  論文  参考訳（メタデータ） (2024-07-24T19:55:08Z)
• Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs [2.526490864645154]
  ニューラルネットワークモデルにより与えられた近似解とトレーニングセットのランダムサンプルを同時に最適化する新しいminmax式を提案する。 鍵となる考え方は、深層生成モデルを用いてトレーニングセット内のランダムサンプルを調整し、近似されたPDE解によって誘導される残差が滑らかなプロファイルを維持することである。
  論文  参考訳（メタデータ） (2023-05-30T02:59:18Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。