論文の概要: Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2303.09935v3
• Date: Mon, 04 Nov 2024 06:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:09.504536
• Title: Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks
• Title（参考訳）: 分類とロバスト回帰のための代替損失関数によるニューラルネットワークの精度向上
• Authors: Mathew Mithra Noel, Arindam Banerjee, Geraldine Bessie Amali D, Venkataraman Muthiah-Nakarajan,
• Abstract要約: 本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
• 参考スコア（独自算出の注目度）: 6.922243656746008
• License:
• Abstract: All machine learning algorithms use a loss, cost, utility or reward function to encode the learning objective and oversee the learning process. This function that supervises learning is a frequently unrecognized hyperparameter that determines how incorrect outputs are penalized and can be tuned to improve performance. This paper shows that training speed and final accuracy of neural networks can significantly depend on the loss function used to train neural networks. In particular derivative values can be significantly different with different loss functions leading to significantly different performance after gradient descent based Backpropagation (BP) training. This paper explores the effect on performance of using new loss functions that are also convex but penalize errors differently compared to the popular Cross-entropy loss. Two new classification loss functions that significantly improve performance on a wide variety of benchmark tasks are proposed. A new loss function call smooth absolute error that outperforms the Squared error, Huber and Log-Cosh losses on datasets with significantly many outliers is proposed. This smooth absolute error loss function is infinitely differentiable and more closely approximates the absolute error loss compared to the Huber and Log-Cosh losses used for robust regression.
• Abstract（参考訳）: すべての機械学習アルゴリズムは損失、コスト、ユーティリティ、報酬関数を使用して学習目標を符号化し、学習プロセスを監督する。 学習を監督するこの関数は、しばしば認識されていないハイパーパラメータであり、不正な出力がどのようにペナル化され、パフォーマンスを改善するために調整されるかを決定する。 本稿では、ニューラルネットワークのトレーニング速度と最終的な精度が、ニューラルネットワークのトレーニングに使用される損失関数に大きく依存することを示す。 特に、微分値は損失関数が異なる場合に大きく異なることができ、勾配降下に基づくバックプロパゲーション(BP)訓練後の性能が著しく異なる。 本稿では,従来のクロスエントロピー損失と異なる誤差をペナルティ化する新たな損失関数の有効性について検討する。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。 新しいロス関数は、Squaredエラー、Huber、Log-Cosh損失よりも優れたスムーズな絶対誤差を呼応する。 この滑らかな絶対誤差損失関数は無限に微分可能であり、より密接な回帰に使用されるフーバーとログコッシュの損失と比較して絶対誤差損失を近似する。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
  本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。 その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
  論文  参考訳（メタデータ） (2024-03-13T10:51:38Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• A survey and taxonomy of loss functions in machine learning [60.41650195728953]
  ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Finding hidden-feature depending laws inside a data set and classifying it using Neural Network [0.0]
  ニューラルネットワークのlogcosh損失関数は、異常値の重み付けを行わない絶対誤差損失関数の利点と、平均付近における連続微分の平均二乗誤差の利点を組み合わせるために開発された。 本研究は,logcosh損失を持つ人工ニューラルネットワークを用いてパラメータ-アウトカムサンプルセットのセット値マッピングの分岐を探索し,それらの分岐に従ってサンプルを分類する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-25T21:37:37Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。