論文の概要: Hybridised Loss Functions for Improved Neural Network Generalisation

• arxiv url: http://arxiv.org/abs/2204.12244v1
• Date: Tue, 26 Apr 2022 11:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 13:06:48.643438
• Title: Hybridised Loss Functions for Improved Neural Network Generalisation
• Title（参考訳）: ニューラルネットワークの一般化向上のためのハイブリッド化ロス関数
• Authors: Matthew C. Dickson, Anna S. Bosman and Katherine M. Malan
• Abstract要約: 損失関数は人工ニューラルネットワーク(ANN)のトレーニングにおいて重要な役割を果たす クロスエントロピーと合計2乗誤差損失関数は異なるトレーニングダイナミクスをもたらすことが示されている。 エントロピーと和2乗誤差損失関数のハイブリッドは、2つの関数の利点を組み合わせ、その欠点を制限できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Loss functions play an important role in the training of artificial neural networks (ANNs), and can affect the generalisation ability of the ANN model, among other properties. Specifically, it has been shown that the cross entropy and sum squared error loss functions result in different training dynamics, and exhibit different properties that are complementary to one another. It has previously been suggested that a hybrid of the entropy and sum squared error loss functions could combine the advantages of the two functions, while limiting their disadvantages. The effectiveness of such hybrid loss functions is investigated in this study. It is shown that hybridisation of the two loss functions improves the generalisation ability of the ANNs on all problems considered. The hybrid loss function that starts training with the sum squared error loss function and later switches to the cross entropy error loss function is shown to either perform the best on average, or to not be significantly different than the best loss function tested for all problems considered. This study shows that the minima discovered by the sum squared error loss function can be further exploited by switching to cross entropy error loss function. It can thus be concluded that hybridisation of the two loss functions could lead to better performance in ANNs.
• Abstract（参考訳）: 損失関数は、人工知能ニューラルネットワーク(ANN)のトレーニングにおいて重要な役割を果たし、ANNモデルの一般化能力に影響を及ぼす可能性がある。 具体的には、交叉エントロピーと和二乗誤差損失関数は異なるトレーニングダイナミクスをもたらし、互いに相補的な特性を示すことが示されている。 従来、エントロピーと和2乗誤差損失関数のハイブリッドは、2つの関数の利点を組み合わせ、その欠点を制限できると考えられてきた。 本研究では,ハイブリッド損失関数の有効性を検討した。 2つの損失関数のハイブリッド化は、考慮すべきすべての問題において、ANNの一般化能力を向上させる。 合計二乗誤差損失関数を用いてトレーニングを開始し、その後クロスエントロピー誤差損失関数に切り替えるハイブリッド損失関数は、平均でベストを果たすか、考慮されたすべての問題に対してテストされたベスト損失関数と大きく異なるかを示す。 本研究では, 和二乗誤差損失関数によって発見されたミニマは, クロスエントロピー誤差損失関数に切り換えることでさらに活用できることを示す。 したがって、2つの損失関数のハイブリダイゼーションは ann の性能向上につながると結論付けることができる。

関連論文リスト

• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Evaluating the Impact of Loss Function Variation in Deep Learning for Classification [0.0]
  損失関数は間違いなく、ニューラルネットワークにとって最も重要なハイパーパラメータの1つである。 ニューラルネットワークを教師付き分類設定で検討し、損失関数の選択がトレーニング結果に与える影響を分析する。 特定の損失関数は過度に最適に機能するが、我々の研究は、表現不足の損失が最先端の選択肢を大幅に上回っていることを実証的に示している。
  論文  参考訳（メタデータ） (2022-10-28T09:10:10Z)
• The Geometry and Calculus of Losses [10.451984251615512]
  本稿では,二項・多クラス分類とクラス確率推定問題に対する損失関数の理論を開発する。 視点は3つの新しい機会を提供する。 これにより、これまで気付かなかったと思われる損失と(反)ノルムの基本的な関係の開発が可能になる。 第二に、凸集合の計算によって引き起こされる損失の計算の開発を可能にする。 第三に、パースペクティブは、損失を定義する凸集合の極双対から導かれる極の損失関数の自然な理論につながる。
  論文  参考訳（メタデータ） (2022-09-01T05:57:19Z)
• Inference on Strongly Identified Functionals of Weakly Identified Functions [71.42652863687117]
  本研究では,ニュアンス関数が存在しない場合でも,関数を強く識別するための新しい条件について検討する。 本稿では,プライマリおよびデバイアスのニュアンス関数に対するペナル化ミニマックス推定器を提案する。
  論文  参考訳（メタデータ） (2022-08-17T13:38:31Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。