論文の概要: A surrogate loss function for optimization of $F_\beta$ score in binary
classification with imbalanced data
- arxiv url: http://arxiv.org/abs/2104.01459v1
- Date: Sat, 3 Apr 2021 18:36:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 10:57:50.322812
- Title: A surrogate loss function for optimization of $F_\beta$ score in binary
classification with imbalanced data
- Title（参考訳）: 不均衡データを用いた二分分類における$f_\beta$スコアの最適化のためのサーロゲート損失関数
- Authors: Namgil Lee, Heejung Yang, Hojin Yoo
- Abstract要約: 提案されたサーロゲート$F_beta$損失関数の勾配パスは、$F_beta$スコアの大きなサンプル限界の勾配パスを近似する。
F_beta$損失関数はクラス不均衡下でのF_beta$スコアの最適化に有効であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The $F_\beta$ score is a commonly used measure of classification performance,
which plays crucial roles in classification tasks with imbalanced data sets.
However, the $F_\beta$ score cannot be used as a loss function by
gradient-based learning algorithms for optimizing neural network parameters due
to its non-differentiability. On the other hand, commonly used loss functions
such as the binary cross-entropy (BCE) loss are not directly related to
performance measures such as the $F_\beta$ score, so that neural networks
optimized by using the loss functions may not yield optimal performance
measures. In this study, we investigate a relationship between classification
performance measures and loss functions in terms of the gradients with respect
to the model parameters. Then, we propose a differentiable surrogate loss
function for the optimization of the $F_\beta$ score. We show that the gradient
paths of the proposed surrogate $F_\beta$ loss function approximate the
gradient paths of the large sample limit of the $F_\beta$ score. Through
numerical experiments using ResNets and benchmark image data sets, it is
demonstrated that the proposed surrogate $F_\beta$ loss function is effective
for optimizing $F_\beta$ scores under class imbalances in binary classification
tasks compared with other loss functions.
- Abstract（参考訳）: f_\beta$スコアは、不均衡なデータセットを持つ分類タスクにおいて重要な役割を果たす分類性能の指標である。
しかし、F_\beta$スコアは、その非微分性のためにニューラルネットワークパラメータを最適化するための勾配に基づく学習アルゴリズムによる損失関数として使用することはできない。
一方、二項クロスエントロピー(BCE)損失のような一般的に用いられる損失関数は、$F_\beta$スコアのようなパフォーマンス指標に直接関連しないため、損失関数を用いて最適化されたニューラルネットワークは最適な性能測定を得られない。
本研究では,モデルパラメータに関する勾配の観点から,分類性能尺度と損失関数の関係について検討した。
次に,$f_\beta$スコアの最適化のための微分可能サーロゲート損失関数を提案する。
提案したサロゲートである$F_\beta$損失関数の勾配経路は,$F_\beta$スコアの大きなサンプル極限の勾配経路に近似することを示した。
ResNets とベンチマーク画像データセットを用いた数値実験により,提案したサロゲート $F_\beta$損失関数が,他の損失関数と比較した場合のクラス不均衡条件下でのF_\beta$損失関数の最適化に有効であることが実証された。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - $α$-Divergence Loss Function for Neural Density Ratio Estimation [0.0]
密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。
既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。
本稿では,DREの新しい損失関数である$alpha$-divergence loss function(alpha$-Div)を提案する。
論文 参考訳（メタデータ） (2024-02-03T05:33:01Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳（メタデータ） (2023-03-17T12:52:06Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳（メタデータ） (2022-10-31T22:39:32Z) - Reformulating van Rijsbergen's $F_{\beta}$ metric for weighted binary
cross-entropy [0.0]
本報告では,学習結果の報知のために,異なる損失関数とともに性能指標を組み込むことについて検討する。
焦点はvan Rijsbergens $F_beta$ metric -- 分類パフォーマンスを計測する一般的な選択肢である。
論文 参考訳（メタデータ） (2022-10-29T01:21:42Z) - Gradient-Free Methods for Deterministic and Stochastic Nonsmooth
Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。
2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。
GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文 参考訳（メタデータ） (2022-09-12T06:53:24Z) - Neural Greedy Pursuit for Feature Selection [72.4121881681861]
我々は,非線形予測問題に対する$P$入力機能のうち,$N$重要な特徴を選択するための欲求アルゴリズムを提案する。
ニューラルネットワークをアルゴリズムの予測子として使用し、損失を計算します。
論文 参考訳（メタデータ） (2022-07-19T16:39:16Z) - Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。
また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。
提案手法により,最大60.6ドルのmAPを初めて達成できる。
論文 参考訳（メタデータ） (2022-05-16T02:47:41Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳（メタデータ） (2022-02-14T15:18:00Z) - Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。
PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
論文 参考訳（メタデータ） (2020-10-15T17:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。