論文の概要: Less Emphasis on Difficult Layer Regions: Curriculum Learning for Singularly Perturbed Convection-Diffusion-Reaction Problems

• arxiv url: http://arxiv.org/abs/2210.12685v2
• Date: Fri, 24 Mar 2023 10:09:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 18:21:11.165750
• Title: Less Emphasis on Difficult Layer Regions: Curriculum Learning for Singularly Perturbed Convection-Diffusion-Reaction Problems
• Title（参考訳）: 困難層領域の少ない強調:特異な対流拡散反応問題に対するカリキュラム学習
• Authors: Yufeng Wang, Cong Xu, Min Yang, Jin Zhang
• Abstract要約: マルチスケールフィールドの学習を同時に行うことで,ネットワークがトレーニングを前進させることができなくなり,ローカル・ミニマの貧弱さに容易に立ち往生することを示す。 本稿では,ニューラルネットワークがより容易な非層領域での学習を優先し,より難しい層領域での学習を軽視する新たなカリキュラム学習手法を提案する。
• 参考スコア（独自算出の注目度）: 21.615494601195472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Physics-Informed Neural Networks (PINNs) have been successfully applied in a wide variety of science and engineering fields, they can fail to accurately predict the underlying solution in slightly challenging convection-diffusion-reaction problems. In this paper, we investigate the reason of this failure from a domain distribution perspective, and identify that learning multi-scale fields simultaneously makes the network unable to advance its training and easily get stuck in poor local minima. We show that the widespread experience of sampling more collocation points in high-loss layer regions hardly help optimize and may even worsen the results. These findings motivate the development of a novel curriculum learning method that encourages neural networks to prioritize learning on easier non-layer regions while downplaying learning on harder layer regions. The proposed method helps PINNs automatically adjust the learning emphasis and thereby facilitate the optimization procedure. Numerical results on typical benchmark equations show that the proposed curriculum learning approach mitigates the failure modes of PINNs and can produce accurate results for very sharp boundary and interior layers. Our work reveals that for equations whose solutions have large scale differences, paying less attention to high-loss regions can be an effective strategy for learning them accurately.
• Abstract（参考訳）: 物理情報ニューラルネットワーク(PINN)は、様々な科学・工学分野に応用されているが、わずかに困難な対流拡散反応問題において、基礎となる解を正確に予測できない。 本稿では,この障害の原因をドメイン分布の観点から検討し,マルチスケールフィールドの学習を同時に行うことで,ネットワークがトレーニングを前進させることができず,ローカル・ミニマで簡単に立ち往生することを明らかにする。 高損失層領域でより多くのコロケーションポイントをサンプリングした経験が、最適化に役立たず、結果が悪化する可能性も示唆した。 これらの知見は、ニューラルネットワークがより容易な非層領域での学習を優先し、より難しい層領域での学習を軽視する新しいカリキュラム学習手法の開発を動機付けている。 提案手法は,学習強調を自動的に調整し,最適化作業を容易にする。 典型的なベンチマーク式における数値的な結果から,提案したカリキュラム学習手法はPINNの故障モードを緩和し,極めて鋭い境界層と内部層に対して正確な結果が得られることが示された。 本研究は,大規模に異なる解を持つ方程式に対して,高損失領域に注意を払わないことが,それらを正確に学習するための効果的な戦略であることを示す。

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning [11.721183551822097]
  提案手法は, 補助ネットワークを必要とせずに, 圧縮センシングにより各層にネットワークをモデル化することにより, 対象の伝搬を実現することができることを示す。 実験により,提案手法は補助的なネットワークベース手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-20T05:21:13Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• AlterSGD: Finding Flat Minima for Continual Learning by Alternative Training [11.521519687645428]
  本稿では,損失景観における平らな最小値を求めるために,AlterSGDと呼ばれるシンプルで効果的な最適化手法を提案する。 このような戦略は、最適化が平坦なミニマに収束することを促進できることを示す。 セマンティックセグメンテーションのための連続学習ベンチマーク上でAlterSGDを検証し、実験結果から、忘れを著しく軽減できることを示す。
  論文  参考訳（メタデータ） (2021-07-13T01:43:51Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。