論文の概要: Evaluating the Impact of Loss Function Variation in Deep Learning for Classification

• arxiv url: http://arxiv.org/abs/2210.16003v1
• Date: Fri, 28 Oct 2022 09:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:41:58.107202
• Title: Evaluating the Impact of Loss Function Variation in Deep Learning for Classification
• Title（参考訳）: 深層学習における損失関数変動の影響評価
• Authors: Simon Dr\"ager, Jannik Dunkelau
• Abstract要約: 損失関数は間違いなく、ニューラルネットワークにとって最も重要なハイパーパラメータの1つである。 ニューラルネットワークを教師付き分類設定で検討し、損失関数の選択がトレーニング結果に与える影響を分析する。 特定の損失関数は過度に最適に機能するが、我々の研究は、表現不足の損失が最先端の選択肢を大幅に上回っていることを実証的に示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The loss function is arguably among the most important hyperparameters for a neural network. Many loss functions have been designed to date, making a correct choice nontrivial. However, elaborate justifications regarding the choice of the loss function are not made in related work. This is, as we see it, an indication of a dogmatic mindset in the deep learning community which lacks empirical foundation. In this work, we consider deep neural networks in a supervised classification setting and analyze the impact the choice of loss function has onto the training result. While certain loss functions perform suboptimally, our work empirically shows that under-represented losses such as the KL Divergence can outperform the State-of-the-Art choices significantly, highlighting the need to include the loss function as a tuned hyperparameter rather than a fixed choice.
• Abstract（参考訳）: 損失関数は、ニューラルネットワークにとって最も重要なハイパーパラメータの1つである。 多くの損失関数はこれまでに設計されており、正しい選択は自明ではない。 しかし、損失関数の選択に関する詳細な正当化は、関連する作業では行われない。 これは、私たちが見ているように、経験的基盤を欠いているディープラーニングコミュニティにおける独創的な考え方の現れです。 本研究では,教師付き分類設定におけるディープニューラルネットワークを考察し,学習結果に対する損失関数の選択の影響を分析する。 ある種の損失関数は準最適に作用するが、kl分岐のような非表現の損失は最先端の選択を著しく上回っており、固定された選択ではなくチューニングされたハイパーパラメータとして損失関数を含める必要性を強調している。

関連論文リスト

• Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
  我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。 画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
  論文  参考訳（メタデータ） (2024-09-18T14:04:15Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• A survey and taxonomy of loss functions in machine learning [60.41650195728953]
  ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Memorization in Deep Neural Networks: Does the Loss Function matter? [1.71982924656402]
  対称損失関数は, 交叉エントロピーや二乗誤差損失とは対照的に, ネットワークの過度な適合性を著しく改善することを示した。 本研究の結果から, 記憶のこの現象において, 損失関数が単独で果たす役割が明らかとなった。
  論文  参考訳（メタデータ） (2021-07-21T09:08:51Z)
• A Mixed Focal Loss Function for Handling Class Imbalanced Medical Image Segmentation [0.7619404259039283]
  声帯損失とDice損失関数の修正版から導出した新しい化合物損失関数を提案する。 提案した損失関数は、より優れたリコール精度バランスに関連付けられ、二値画像と多値画像のセグメンテーションにおいて、他の損失関数よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-02-08T20:47:38Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。