論文の概要: Alternate Loss Functions Can Improve the Performance of Artificial
Neural Networks
- arxiv url: http://arxiv.org/abs/2303.09935v1
- Date: Fri, 17 Mar 2023 12:52:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 14:45:02.422139
- Title: Alternate Loss Functions Can Improve the Performance of Artificial
Neural Networks
- Title(参考訳): 代替損失関数はニューラルネットワークの性能を向上させる
- Authors: Mathew Mithra Noel, Arindam Banerjee, Geraldine Bessie Amali D
- Abstract要約: 本稿では、ニューラルネットワークのトレーニング速度と最終的な精度が、ニューラルネットワークのトレーニングに使用される損失関数に大きく依存することを示す。
8つの新たな損失関数を提案し,異なる損失関数との比較を行った。
本稿では,コンピュータビジョンとNLPベンチマークにおいて,クロスエントロピー損失よりも優れた損失関数を示す。
- 参考スコア(独自算出の注目度): 18.831909641574423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: All machine learning algorithms use a loss, cost, utility or reward function
to encode the learning objective and oversee the learning process. This
function that supervises learning is a frequently unrecognized hyperparameter
that determines how incorrect outputs are penalized and can be tuned to improve
performance. This paper shows that training speed and final accuracy of neural
networks can significantly depend on the loss function used to train neural
networks. In particular derivative values can be significantly different with
different loss functions leading to significantly different performance after
gradient descent based Backpropagation (BP) training. This paper explores the
effect on performance of new loss functions that are more liberal or strict
compared to the popular Cross-entropy loss in penalizing incorrect outputs.
Eight new loss functions are proposed and a comparison of performance with
different loss functions is presented. The new loss functions presented in this
paper are shown to outperform Cross-entropy loss on computer vision and NLP
benchmarks.
- Abstract(参考訳): すべての機械学習アルゴリズムは損失、コスト、ユーティリティ、報酬関数を使用して学習目標を符号化し、学習プロセスを監督する。
学習を監督するこの関数は、しばしば認識されていないハイパーパラメータであり、不正な出力がどのようにペナル化され、パフォーマンスを改善するために調整されるかを決定する。
本稿では,ニューラルネットワークの学習速度と最終的な精度が,ニューラルネットワークの学習に使用される損失関数に大きく依存することを示す。
特に、微分値は損失関数が異なる場合に大きく異なることができ、勾配降下に基づくバックプロパゲーション(BP)訓練後の性能が著しく異なる。
本稿では,不正確な出力をペナライズする際の一般的なクロスエントロピー損失に比べ,よりリベラルな,あるいは厳密な新たな損失関数の性能への影響について検討する。
8つの新たな損失関数を提案し,異なる損失関数との比較を行った。
本稿では,コンピュータビジョンとNLPベンチマークにおいて,クロスエントロピー損失よりも優れた損失関数を示す。
関連論文リスト
- Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve
Generalization Performance of Deep Classification Models [0.0]
本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。
その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
論文 参考訳(メタデータ) (2024-03-13T10:51:38Z) - Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - Online Loss Function Learning [13.744076477599707]
ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。
基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
論文 参考訳(メタデータ) (2023-01-30T19:22:46Z) - A survey and taxonomy of loss functions in machine learning [60.41650195728953]
ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。
この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
論文 参考訳(メタデータ) (2023-01-13T14:38:24Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳(メタデータ) (2022-10-31T22:39:32Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳(メタデータ) (2022-02-14T15:18:00Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳(メタデータ) (2021-09-12T23:14:06Z) - Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。
我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
論文 参考訳(メタデータ) (2020-10-30T17:50:31Z) - $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using
Sigmoidal Functions [0.9569316316728905]
我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。
我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
論文 参考訳(メタデータ) (2020-09-18T12:34:40Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳(メタデータ) (2020-07-12T17:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。