論文の概要: Improved physics-informed neural network in mitigating gradient related failures

• arxiv url: http://arxiv.org/abs/2407.19421v1
• Date: Sun, 28 Jul 2024 07:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 18:12:26.278739
• Title: Improved physics-informed neural network in mitigating gradient related failures
• Title（参考訳）: 勾配関連障害の緩和における物理インフォームドニューラルネットワークの改善
• Authors: Pancheng Niu, Yongming Chen, Jun Guo, Yuqian Zhou, Minfu Feng, Yanchao Shi,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、高度なデータ駆動技術で基本的な物理原理を統合する。 PINNは勾配流の剛性に悩まされ、予測能力が制限される。 本稿では,勾配関連障害を軽減するために改良されたPINNを提案する。
• 参考スコア（独自算出の注目度）: 11.356695216531328
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Physics-informed neural networks (PINNs) integrate fundamental physical principles with advanced data-driven techniques, driving significant advancements in scientific computing. However, PINNs face persistent challenges with stiffness in gradient flow, which limits their predictive capabilities. This paper presents an improved PINN (I-PINN) to mitigate gradient-related failures. The core of I-PINN is to combine the respective strengths of neural networks with an improved architecture and adaptive weights containingupper bounds. The capability to enhance accuracy by at least one order of magnitude and accelerate convergence, without introducing extra computational complexity relative to the baseline model, is achieved by I-PINN. Numerical experiments with a variety of benchmarks illustrate the improved accuracy and generalization of I-PINN. The supporting data and code are accessible at https://github.com/PanChengN/I-PINN.git, enabling broader research engagement.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、基本的な物理原理を高度なデータ駆動技術と統合し、科学計算の大幅な進歩を推進している。 しかし、PINNは勾配流の剛性に悩まされ、予測能力を制限している。 本稿では,勾配関連障害を軽減するために改良されたPINN(I-PINN)を提案する。 I-PINNの中核は、ニューラルネットワークの各強みとアーキテクチャの改善と、アップパー境界を含む適応重みを組み合わせることである。 I-PINNにより,少なくとも1桁の精度向上と収束の促進を実現し,ベースラインモデルに対する余分な計算複雑性を導入することなく実現した。 様々なベンチマークによる数値実験は、I-PINNの精度の向上と一般化を示している。 サポート対象のデータとコードはhttps://github.com/PanChengN/I-PINN.gitでアクセスでき、より広範な研究参加を可能にする。

関連論文リスト

• Element-wise Multiplication Based Deeper Physics-Informed Neural Networks [1.8554335256160261]
  PINNは偏微分方程式(PDE)を解くための有望な枠組みである 表現力の欠如と病理疾患は、複雑なPDEにPINNを適用するのを防ぐのに役立つ。 本稿では,これらの問題を解決するために,より深い物理インフォームドニューラルネットワーク(Deeper-PINN)を提案する。
  論文  参考訳（メタデータ） (2024-06-06T15:27:52Z)
• Binary structured physics-informed neural networks for solving equations with rapidly changing solutions [3.6415476576196055]
  偏微分方程式(PDE)を解くための有望なアプローチとして、物理情報ニューラルネットワーク(PINN)が登場した。 本稿では、ニューラルネットワークコンポーネントとしてバイナリ構造化ニューラルネットワーク(BsNN)を用いる、バイナリ構造化物理インフォームドニューラルネットワーク(BsPINN)フレームワークを提案する。 BsPINNは、PINNよりも収束速度と精度が優れている。
  論文  参考訳（メタデータ） (2024-01-23T14:37:51Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
  段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。 与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。 この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
  論文  参考訳（メタデータ） (2023-02-25T19:11:44Z)
• Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and Comparative Results [25.12291688711645]
  物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。 PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。 優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
  論文  参考訳（メタデータ） (2022-12-15T05:54:16Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization [0.0]
  そこで本研究では,ハイブリッド粒子群最適化と勾配降下法を用いてPINNを訓練する手法を提案する。 PSO-PINNアルゴリズムは、標準勾配降下法で訓練されたPINNの望ましくない挙動を緩和する。 実験の結果, PSO-PINNはアダム勾配降下法でトレーニングしたベースラインPINNよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-02-04T02:21:31Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。