論文の概要: An Analysis of Loss Functions for Binary Classification and Regression
- arxiv url: http://arxiv.org/abs/2301.07638v1
- Date: Wed, 18 Jan 2023 16:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 15:25:28.085158
- Title: An Analysis of Loss Functions for Binary Classification and Regression
- Title（参考訳）: 二項分類・回帰における損失関数の解析
- Authors: Jeffrey Buzas
- Abstract要約: 本稿では,境界に基づく損失関数と二項分類および回帰応用における整合性の関係について検討する。
整合性(整合性)損失関数の簡単な特徴付けが与えられ、異なる損失の直接比較が可能である。
マージンと標準ロジスティック回帰残差の関係は導出され、すべてのマージンベース損失を正方形標準ロジスティック回帰残差の損失関数と見なすことができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores connections between margin-based loss functions and
consistency in binary classification and regression applications. It is shown
that a large class of margin-based loss functions for binary
classification/regression result in estimating scores equivalent to
log-likelihood scores weighted by an even function. A simple characterization
for conformable (consistent) loss functions is given, which allows for
straightforward comparison of different losses, including exponential loss,
logistic loss, and others. The characterization is used to construct a new
Huber-type loss function for the logistic model. A simple relation between the
margin and standardized logistic regression residuals is derived, demonstrating
that all margin-based loss can be viewed as loss functions of squared
standardized logistic regression residuals. The relation provides new,
straightforward interpretations for exponential and logistic loss, and aids in
understanding why exponential loss is sensitive to outliers. In particular, it
is shown that minimizing empirical exponential loss is equivalent to minimizing
the sum of squared standardized logistic regression residuals. The relation
also provides new insight into the AdaBoost algorithm.
- Abstract（参考訳）: 本稿では,二分分類と回帰応用におけるマージン型損失関数と一貫性の関係について検討する。
その結果,二項分類/回帰のマージンに基づく損失関数は,偶数関数で重み付けされたログライクなスコアに相当するスコアを推定できることがわかった。
整合的(一貫性のある)損失関数の簡単な特徴付けが与えられ、指数的損失やロジスティック損失など、異なる損失の直接比較が可能になる。
特徴付けはロジスティックモデルのための新しいHuber型損失関数を構築するために使用される。
マージンと標準ロジスティック回帰残差との単純な関係が導出され、すべてのマージンベースの損失を正方形標準ロジスティック回帰残差の損失関数と見なすことができる。
この関係は指数的およびロジスティックな損失に対する新しい単純な解釈を提供し、指数的損失が外れ値に敏感である理由を理解するのに役立つ。
特に、指数的損失の最小化は、二乗標準ロジスティック回帰残差の和を最小化することと同値であることが示されている。
この関係はまた、AdaBoostアルゴリズムに関する新たな洞察を提供する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳（メタデータ） (2023-05-19T16:24:47Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳（メタデータ） (2023-04-14T17:58:23Z) - Soft-SVM Regression For Binary Classification [0.0]
ソフトネスとクラス分離パラメータを用いたヒンジ損失関数の凸緩和に基づく新しい指数族を導入する。
この新しいファミリーはSoft-SVMと呼ばれ、ロジスティック回帰とSVM分類を効果的に橋渡しする一般化線形モデルを規定することができる。
論文 参考訳（メタデータ） (2022-05-24T03:01:35Z) - Nonconvex Extension of Generalized Huber Loss for Robust Learning and
Pseudo-Mode Statistics [0.0]
ログエクスプとロジスティック関数を組み合わせることで、ロスコンバインを生成できることが示されます。
指数収束を最小化するために利用できる頑健な一般化を示す。
論文 参考訳（メタデータ） (2022-02-22T19:32:02Z) - Leveraging Unlabeled Data for Entity-Relation Extraction through
Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。
本手法では,論理文の正確な意味を捉える意味的損失を用いる。
低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文 参考訳（メタデータ） (2021-03-20T00:16:29Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳（メタデータ） (2021-01-05T06:25:47Z) - A Framework of Learning Through Empirical Gain Maximization [8.834480010537229]
本研究では,頑健な回帰問題に対処する経験的ゲイン(EGM)の枠組みを開発する。
ツキーの双重損失は、他の三つの非確立損失関数から導かれる。
論文 参考訳（メタデータ） (2020-09-29T18:36:26Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳（メタデータ） (2020-07-12T17:45:24Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - The Implicit Bias of Gradient Descent on Separable Data [44.98410310356165]
予測器は最大マージン(シャープマージンSVM)解の方向へ収束することを示す。
これは、トレーニングエラーがゼロになった後もロジスティックまたはクロスエントロピー損失を最適化し続ける利点を説明するのに役立つ。
論文 参考訳（メタデータ） (2017-10-27T21:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。