論文の概要: Variance-based loss function for improved regularization

• arxiv url: http://arxiv.org/abs/2412.13993v1
• Date: Wed, 18 Dec 2024 16:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:30.904155
• Title: Variance-based loss function for improved regularization
• Title（参考訳）: 変量に基づく正規化改善のための損失関数
• Authors: John M. Hanna, Irene E. Vignon-Clemental,
• Abstract要約: ディープラーニングでは、選択された誤差メトリックの平均が損失関数として一般的に使用される。 このアプローチは、しばしば局所化された外れ値に対処できず、急勾配や不連続な領域で重大な不正確な結果をもたらす。 本稿では,選択した誤差量の平均偏差と標準偏差を組み合わせた新しい損失関数を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In deep learning, the mean of a chosen error metric, such as squared or absolute error, is commonly used as a loss function. While effective in reducing the average error, this approach often fails to address localized outliers, leading to significant inaccuracies in regions with sharp gradients or discontinuities. This issue is particularly evident in physics-informed neural networks (PINNs), where such localized errors are expected and affect the overall solution. To overcome this limitation, we propose a novel loss function that combines the mean and the standard deviation of the chosen error metric. By minimizing this combined loss function, the method ensures a more uniform error distribution and reduces the impact of localized high-error regions. The proposed loss function was tested on three problems: Burger's equation, 2D linear elastic solid mechanics, and 2D steady Navier-Stokes, demonstrating improved solution quality and lower maximum errors compared to the standard mean-based loss, using the same number of iterations and weight initialization.
• Abstract（参考訳）: 深層学習では、二乗や絶対誤差のような選択された誤差計量の平均が損失関数として一般的に用いられる。 平均誤差を減らすのに効果的であるが、このアプローチはローカライズされた外れ値に対処するのに失敗し、急勾配や不連続な領域で重大な不正確性をもたらす。 この問題は物理情報ニューラルネットワーク(PINN)において特に顕著であり、そのような局所的なエラーが期待され、全体的なソリューションに影響を与える。 この制限を克服するために,選択した誤差メトリックの平均値と標準偏差を組み合わせた新しい損失関数を提案する。 この複合損失関数を最小化することにより、より均一なエラー分布を確保し、局所化されたハイエラー領域の影響を低減する。 提案した損失関数は, バーガー方程式, 2次元線形弾性体力学, 2次元定常ナビエ・ストークスの3つの問題で検証され, 同じイテレーション数と重み初期化を用いて, 標準平均損失よりも解の質と最大誤差が向上したことを示した。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Understanding the Difficulty of Solving Cauchy Problems with PINNs [31.98081858215356]
  PINNは微分方程式の解法における古典的手法と同等の精度を達成できないことが多い。 L2$残差と初期条件誤差の和を最小化することは、真の解を保証するのに十分でないことを示す。 我々は,大域的最小値が存在しない場合,機械の精度がエラーの原因となることを示した。
  論文  参考訳（メタデータ） (2024-05-04T04:22:52Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Revisiting Rotation Averaging: Uncertainties and Robust Losses [51.64986160468128]
  現在の手法の主な問題は、推定エピポーラを通して入力データと弱い結合しか持たない最小コスト関数である。 本稿では,点対応から回転平均化への不確実性を直接伝播させることにより,基礎となる雑音分布をモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-03-09T11:51:20Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• Error Estimation and Correction from within Neural Network Differential Equation Solvers [3.04585143845864]
  本稿では,ニューラルネットワーク微分方程式解法における誤差推定と補正の戦略について述べる。 提案手法では, 真の解の事前知識を必要とせず, 損失関数と解推定に伴う誤差との明確な関係を求める。
  論文  参考訳（メタデータ） (2020-07-09T11:01:44Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。