論文の概要: Evolutionary Two-Stage Hyperparameter Optimization Strategies for Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2606.20442v1
• Date: Thu, 18 Jun 2026 16:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.982302
• Title: Evolutionary Two-Stage Hyperparameter Optimization Strategies for Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークのための進化的2段階ハイパーパラメータ最適化手法
• Authors: Fedor Buzaev, Dmitry Efremenko, Egor Bugaev, Andrei Ermakov, Denis Derkach, Daria Pugacheva, Fedor Ratnikov,
• Abstract要約: 本稿では,学習の一部と解の精度を組み合わせた進化的アルゴリズムに基づく2段階のアプローチを提案する。 我々は,3つの一般的な問題を評価し,その解法は標準学習より優れ,計算資源内で達成される。
• 参考スコア（独自算出の注目度）: 0.6924349411126935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) solve Partial Differential Equations (PDEs) by embedding physical laws into neural network training. However, their performance suffers from unstable convergence, training plateaus, and strong sensitivity to architectural and optimization hyperparameters due to the highly non-convex and multi-term structure of the physics-informed loss. In this setting, the outer-loop hyperparameter search is a noisy and black-box optimization problem over heterogeneous parameters, where classical local or gradient-based strategies are easily trapped in suboptimal regions. Evolutionary algorithms, with their population-based exploration and ability to handle mixed, non-differentiable search spaces, provide a more robust mechanism for discovering promising configurations. We propose and investigate a two-stage approach based on evolutionary algorithms that combines exploration and exploitation parts of PINNs training to improve solution accuracy and robustness under fixed computational budgets. In the first stage, we perform low-fidelity training runs with truncated epochs to rapidly screen candidate configurations, treating hyperparameter selection as a black-box outer-loop problem. In the second stage, only the most promising candidates are fully trained with standard gradient-based optimizers to refine the solution. Evaluated on three popular problems, namely Advection, Klein-Gordon and Helmholtz equations, our method consistently outperforms standard training and achieves significantly lower mean error within constrained computational resources.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理法則をニューラルネットワークトレーニングに埋め込むことで、部分微分方程式(PDE)を解決する。 しかし、それらの性能は、不安定な収束、訓練台地、および物理インフォームド損失の非常に非凸かつ多長期構造のために、アーキテクチャと最適化のハイパーパラメータに対する強い感度に悩まされている。 この設定では、外ループハイパーパラメーター探索は異種パラメータよりもノイズの多いブラックボックス最適化問題であり、古典的な局所的戦略や勾配に基づく戦略は、最適化された領域に容易に閉じ込められる。 進化的アルゴリズムは、人口に基づく探索と、混合で微分不可能な検索空間を扱う能力によって、将来的な構成を発見するためのより堅牢なメカニズムを提供する。 本稿では,PINNsトレーニングの探索と活用の部分を組み合わせた進化的アルゴリズムに基づく2段階のアプローチを提案し,固定された計算予算下での解の精度と堅牢性を改善する。 第1段階では、切り刻まれたエポックを用いて低忠実度トレーニングを行い、候補設定を高速にスクリーニングし、ハイパーパラメータ選択をブラックボックス外ループ問題として扱う。 第2段階では、最も有望な候補のみが、ソリューションを洗練させるために標準勾配ベースのオプティマイザで完全に訓練されている。 本稿では,Advection,Klein-Gordon,Helmholtzの3つの一般的な問題から評価し,制約付き計算資源における平均誤差を著しく低減した。

関連論文リスト

• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• Curvature-Aware Optimization for High-Accuracy Physics-Informed Neural Networks [6.7049043613619155]
  物理インフォームドニューラルネットワーク(PINN)の収束を加速するための高度な最適化手法を提案する。 我々は、ヘルムホルツ方程式、ストークスフロー、バーガーズ方程式、高速流れに対するオイラー方程式などの問題に対するそれらの性能を実証する。 Inviscid Burgers 方程式を解くための新しい PINN ベースの手法を提案し、その結果を高次数値法と比較する。
  論文  参考訳（メタデータ） (2026-04-06T22:52:34Z)
• Optimizing the Optimizer for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks [3.758814046658822]
  物理情報ニューラルネットワーク(PINN)は、部分マグニチュード方程式(PDE)をニューラルネットワークのトレーニングプロセスにソフト制約として統合することにより、計算PDEソリューションに革命をもたらした。 さらに、物理インフォームドネットワーク(PIKAN)も有効であり、精度も同等である。
  論文  参考訳（メタデータ） (2025-01-22T21:19:42Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results [25.12291688711645]
  物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。 優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
  論文  参考訳（メタデータ） (2022-12-15T05:54:16Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。