論文の概要: Residual-Quantile Adjustment for Adaptive Training of Physics-informed Neural Network

• arxiv url: http://arxiv.org/abs/2209.05315v1
• Date: Fri, 9 Sep 2022 12:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 14:20:28.802185
• Title: Residual-Quantile Adjustment for Adaptive Training of Physics-informed Neural Network
• Title（参考訳）: 物理インフォームドニューラルネットワークの適応学習のための残留成分調整
• Authors: Jiayue Han, Zhiqiang Cai, Zhiyou Wu, Xiang Zhou
• Abstract要約: 本稿では, 学習効率向上のためのサンプルの適応選択におけるボトルネックは, 数値残差の尾分布の挙動であることを示す。 トレーニングサンプル毎の重量選択に優れたResidual-Quantile Adjustment (RQA)法を提案する。 実験結果から,提案手法は様々な偏微分方程式(PDE)問題において,適応的手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 2.5769426017309915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive training methods for physical-informed neural network (PINN) require dedicated constructions of the distribution of weights assigned at each training sample. To efficiently seek such an optimal weight distribution is not a simple task and most existing methods choose the adaptive weights based on approximating the full distribution or the maximum of residuals. In this paper, we show that the bottleneck in the adaptive choice of samples for training efficiency is the behavior of the tail distribution of the numerical residual. Thus, we propose the Residual-Quantile Adjustment (RQA) method for a better weight choice for each training sample. After initially setting the weights proportional to the $p$-th power of the residual, our RQA method reassign all weights above $q$-quantile ($90\%$ for example) to the median value, so that the weight follows a quantile-adjusted distribution derived from the residuals. With the iterative reweighting technique, RQA is also very easy to implement. Experiment results show that the proposed method can outperform several adaptive methods on various partial differential equation (PDE) problems.
• Abstract（参考訳）: 物理形ニューラルネットワーク(pinn)の適応的トレーニングには、各トレーニングサンプルに割り当てられた重みの分布の専用の構成が必要となる。 このような最適重量分布を求めるのが簡単な作業ではなく、既存のほとんどの方法は、全分布や残余の最大値の近似に基づいて適応重量を選択する。 本稿では, 学習効率向上のためのサンプルの適応選択におけるボトルネックは, 数値残差の尾分布の挙動であることを示す。 そこで本研究では,トレーニングサンプル毎の重量選択に優れたResidual-Quantile Adjustment (RQA)法を提案する。 我々のRQA法は、最初は残余の$p$-thパワーに比例した重量を設定した後、中央値に$q$-quantile(例えば$90\%$)以上の全ての重量を割り当て、残基から導出される量子調整分布に従うようにした。 反復的再重み付け技術では、RQAの実装も非常に容易である。 実験の結果,提案手法は様々な偏微分方程式 (pde) 問題に対する適応法よりも優れていることがわかった。

関連論文リスト

• Efficient Backpropagation with Variance-Controlled Adaptive Sampling [32.297478086982466]
  前方および/または後方伝播(BP)中の'重要'な計算を排除したサンプリングベースのアルゴリズムは、ニューラルネットワークトレーニングを加速するための潜在的なソリューションを提供する。 本稿では,BPの高速化を目的とした分散制御型適応サンプリング(VCAS)手法を提案する。 VCASは、トレーニングプロセス全体の73.87%のFLOPs削減と49.58%のFLOPs削減で、元のトレーニング損失軌跡と検証精度を維持することができる。
  論文  参考訳（メタデータ） (2024-02-27T05:40:36Z)
• Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs [2.526490864645154]
  ニューラルネットワークモデルにより与えられた近似解とトレーニングセットのランダムサンプルを同時に最適化する新しいminmax式を提案する。 鍵となる考え方は、深層生成モデルを用いてトレーニングセット内のランダムサンプルを調整し、近似されたPDE解によって誘導される残差が滑らかなプロファイルを維持することである。
  論文  参考訳（メタデータ） (2023-05-30T02:59:18Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• DAS: A deep adaptive sampling method for solving partial differential equations [2.934397685379054]
  偏微分方程式(PDE)を解くための深層適応サンプリング法(DAS)を提案する。 深部ニューラルネットワークを用いてPDEの解を近似し、深部生成モデルを用いてトレーニングセットを洗練させる新しいコロケーションポイントを生成する。 そこで本研究では,DAS法が誤差境界を低減し,数値実験によりその有効性を実証できることを示す理論的解析を行った。
  論文  参考訳（メタデータ） (2021-12-28T08:37:47Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。