論文の概要: Adaptive Self-supervision Algorithms for Physics-informed Neural Networks

• arxiv url: http://arxiv.org/abs/2207.04084v1
• Date: Fri, 8 Jul 2022 18:17:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 15:37:40.275990
• Title: Adaptive Self-supervision Algorithms for Physics-informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークの適応自己超越アルゴリズム
• Authors: Shashank Subramanian, Robert M. Kirby, Michael W. Mahoney, Amir Gholami
• Abstract要約: 物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
• 参考スコア（独自算出の注目度）: 59.822151945132525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) incorporate physical knowledge from the problem domain as a soft constraint on the loss function, but recent work has shown that this can lead to optimization difficulties. Here, we study the impact of the location of the collocation points on the trainability of these models. We find that the vanilla PINN performance can be significantly boosted by adapting the location of the collocation points as training proceeds. Specifically, we propose a novel adaptive collocation scheme which progressively allocates more collocation points (without increasing their number) to areas where the model is making higher errors (based on the gradient of the loss function in the domain). This, coupled with a judicious restarting of the training during any optimization stalls (by simply resampling the collocation points in order to adjust the loss landscape) leads to better estimates for the prediction error. We present results for several problems, including a 2D Poisson and diffusion-advection system with different forcing functions. We find that training vanilla PINNs for these problems can result in up to 70% prediction error in the solution, especially in the regime of low collocation points. In contrast, our adaptive schemes can achieve up to an order of magnitude smaller error, with similar computational complexity as the baseline. Furthermore, we find that the adaptive methods consistently perform on-par or slightly better than vanilla PINN method, even for large collocation point regimes. The code for all the experiments has been open sourced.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を組み込んでいるが、近年の研究により、最適化が困難になる可能性が示されている。 本稿では,これらのモデルのトレーニング性に及ぼす座標点の位置の影響について検討する。 トレーニングが進むにつれて,コロケーションポイントの位置を適応させることで,バニラPINNの性能を大幅に向上できることがわかった。 具体的には、モデルがより高いエラーを(ドメイン内の損失関数の勾配に基づいて)発生している領域に対して、より多くのコロケーションポイント(数を増やすことなく)を段階的に割り当てる適応的コロケーション方式を提案する。 これにより、任意の最適化ストール(ロスランドスケープを調整するためにコロケーションポイントを単純に再サンプリングすることで)でトレーニングを不公平に再開することで、予測エラーの見積もりが向上する。 本稿では,2次元ポアソンと異なる強制関数を持つ拡散対流系を含む,いくつかの問題に対する結果を示す。 これらの問題に対する訓練用バニラPINNは、特に低いコロケーション点の状況において、解において最大70%の予測誤差をもたらす可能性がある。 対照的に、我々の適応スキームは、ベースラインと同じ計算複雑性を持ち、最大で1桁の誤差を達成できる。 さらに, 適応手法は, 大規模なコロケーション点法においても, バニラPINN法よりも連続的に, あるいはわずかに優れていることがわかった。 すべての実験のコードはオープンソース化された。

関連論文リスト

• Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
  点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。 我々は,各地真実の周囲に凸景観を形成する学習を提案する。
  論文  参考訳（メタデータ） (2024-11-16T01:13:04Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
  エントロピー誤差関数はニューラルネットワークで広く使われている。 本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。 ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
  論文  参考訳（メタデータ） (2024-05-28T19:54:26Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Fixed-budget online adaptive mesh learning for physics-informed neural networks. Towards parameterized problem inference [0.0]
  本稿では,PDE 残差の局所最大値と局所最小値に基づくコロケーションポイントのトレーニングのための固定予算オンライン適応メッシュ学習(FBOAML)手法を提案する。 FBOAMLは、高次位置を識別でき、古典的なPINNよりも物理分野の予測が優れている。
  論文  参考訳（メタデータ） (2022-12-22T15:12:29Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Failure-informed adaptive sampling for PINNs [5.723850818203907]
  物理学インフォームドニューラルネットワーク(PINN)は、幅広い領域でPDEを解決する効果的な手法として登場した。 しかし、最近の研究では、異なるサンプリング手順でPINNの性能が劇的に変化することが示されている。 本稿では,信頼度分析の視点から,故障インフォームドPINNという適応的手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T13:34:41Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。