論文の概要: Less Emphasis on Difficult Layer Regions: Curriculum Learning for Singularly Perturbed Convection-Diffusion-Reaction Problems

• arxiv url: http://arxiv.org/abs/2210.12685v1
• Date: Sun, 23 Oct 2022 10:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 22:12:43.066518
• Title: Less Emphasis on Difficult Layer Regions: Curriculum Learning for Singularly Perturbed Convection-Diffusion-Reaction Problems
• Title（参考訳）: 困難層領域の少ない強調:特異な対流拡散反応問題に対するカリキュラム学習
• Authors: Yufeng Wang, Cong Xu, Min Yang, Jin Zhang
• Abstract要約: 本稿では,学習困難の原因を解明し,階層領域における潜在的解の急激な移行が収束の失敗を引き起こすことを明らかにする。 ニューラルネットワークがより容易な非層領域での学習を優先することを奨励するカリキュラム学習法」を提案する。 提案手法は, 各層領域の分解能を正確に把握し, 通常のPINNに比べて, ルート平均二乗誤差を桁違いに小さくする。
• 参考スコア（独自算出の注目度）: 21.615494601195472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Physics-Informed Neural Networks (PINNs) have been successfully applied to various differential equations, accurately solving perturbed convection-diffusion-reaction problems is still extremely challenging for PINNs. This paper investigates the source of the learning difficulties and finds that the rapid transition of potential solution in the layer region causes the failure of convergence. Based on this finding, we present a curriculum learning method that encourages neural networks to ``prioritize the learning on easier non-layer regions''. The method helps PINNs to dynamically adjust the training data weights, speed up the learning procedure, and ultimately significantly improve the accuracy of the network approximation. Extensive evaluation on multiple typical model equations shows that the proposed approach accurately captures the resolution of the layer regions, and achieves multiple orders of magnitude lower root-mean-squared error than ordinary PINNs. We provide our PyTorch code at https://github.com/WYu-Feng/CLPINN
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は様々な微分方程式に適用されているが、摂動対流拡散反応問題を正確に解くことはPINNにとって非常に難しい。 本研究は,学習困難の原因を考察し,層領域におけるポテンシャル解の急速な遷移が収束の失敗の原因であることを示す。 そこで本研究では,ニューラルネットワークによる「非層領域の学習の優先順位付け」を促すカリキュラム学習手法を提案する。 この方法は,トレーニングデータの重み付けを動的に調整し,学習手順を高速化し,ネットワーク近似の精度を大幅に向上させる。 複数の典型的なモデル方程式の広範囲な評価により,提案手法はレイヤー領域の分解能を正確に把握し,通常の PINN よりもルート平均二乗誤差が桁違いに小さくなることを示す。 PyTorch code at https://github.com/WYu-Feng/CLPINN

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning [11.721183551822097]
  提案手法は, 補助ネットワークを必要とせずに, 圧縮センシングにより各層にネットワークをモデル化することにより, 対象の伝搬を実現することができることを示す。 実験により,提案手法は補助的なネットワークベース手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-20T05:21:13Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• AlterSGD: Finding Flat Minima for Continual Learning by Alternative Training [11.521519687645428]
  本稿では,損失景観における平らな最小値を求めるために,AlterSGDと呼ばれるシンプルで効果的な最適化手法を提案する。 このような戦略は、最適化が平坦なミニマに収束することを促進できることを示す。 セマンティックセグメンテーションのための連続学習ベンチマーク上でAlterSGDを検証し、実験結果から、忘れを著しく軽減できることを示す。
  論文  参考訳（メタデータ） (2021-07-13T01:43:51Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。