論文の概要: Alternate Loss Functions Can Improve the Performance of Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2303.09935v1
• Date: Fri, 17 Mar 2023 12:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 14:45:02.422139
• Title: Alternate Loss Functions Can Improve the Performance of Artificial Neural Networks
• Title（参考訳）: 代替損失関数はニューラルネットワークの性能を向上させる
• Authors: Mathew Mithra Noel, Arindam Banerjee, Geraldine Bessie Amali D
• Abstract要約: 本稿では、ニューラルネットワークのトレーニング速度と最終的な精度が、ニューラルネットワークのトレーニングに使用される損失関数に大きく依存することを示す。 8つの新たな損失関数を提案し,異なる損失関数との比較を行った。 本稿では,コンピュータビジョンとNLPベンチマークにおいて,クロスエントロピー損失よりも優れた損失関数を示す。
• 参考スコア（独自算出の注目度）: 18.831909641574423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All machine learning algorithms use a loss, cost, utility or reward function to encode the learning objective and oversee the learning process. This function that supervises learning is a frequently unrecognized hyperparameter that determines how incorrect outputs are penalized and can be tuned to improve performance. This paper shows that training speed and final accuracy of neural networks can significantly depend on the loss function used to train neural networks. In particular derivative values can be significantly different with different loss functions leading to significantly different performance after gradient descent based Backpropagation (BP) training. This paper explores the effect on performance of new loss functions that are more liberal or strict compared to the popular Cross-entropy loss in penalizing incorrect outputs. Eight new loss functions are proposed and a comparison of performance with different loss functions is presented. The new loss functions presented in this paper are shown to outperform Cross-entropy loss on computer vision and NLP benchmarks.
• Abstract（参考訳）: すべての機械学習アルゴリズムは損失、コスト、ユーティリティ、報酬関数を使用して学習目標を符号化し、学習プロセスを監督する。 学習を監督するこの関数は、しばしば認識されていないハイパーパラメータであり、不正な出力がどのようにペナル化され、パフォーマンスを改善するために調整されるかを決定する。 本稿では,ニューラルネットワークの学習速度と最終的な精度が,ニューラルネットワークの学習に使用される損失関数に大きく依存することを示す。 特に、微分値は損失関数が異なる場合に大きく異なることができ、勾配降下に基づくバックプロパゲーション(BP)訓練後の性能が著しく異なる。 本稿では,不正確な出力をペナライズする際の一般的なクロスエントロピー損失に比べ,よりリベラルな,あるいは厳密な新たな損失関数の性能への影響について検討する。 8つの新たな損失関数を提案し,異なる損失関数との比較を行った。 本稿では,コンピュータビジョンとNLPベンチマークにおいて,クロスエントロピー損失よりも優れた損失関数を示す。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
  本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。 その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
  論文  参考訳（メタデータ） (2024-03-13T10:51:38Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Finding hidden-feature depending laws inside a data set and classifying it using Neural Network [0.0]
  ニューラルネットワークのlogcosh損失関数は、異常値の重み付けを行わない絶対誤差損失関数の利点と、平均付近における連続微分の平均二乗誤差の利点を組み合わせるために開発された。 本研究は,logcosh損失を持つ人工ニューラルネットワークを用いてパラメータ-アウトカムサンプルセットのセット値マッピングの分岐を探索し,それらの分岐に従ってサンプルを分類する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-25T21:37:37Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。