論文の概要: The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of
Mislabeling
- arxiv url: http://arxiv.org/abs/2001.00570v1
- Date: Fri, 3 Jan 2020 08:54:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 17:18:30.262078
- Title: The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of
Mislabeling
- Title（参考訳）: 実世界重量クロスエントロピー損失関数:ミスラベルのコストのモデル化
- Authors: Yaoshiang Ho, Samuel Wookey
- Abstract要約: 実世界のクロスエントロピー損失関数を2値・1ラベルの分類変種に導入する。
どちらの変種も、現実世界のコストを重みとして直接入力することができる。
シングルラベル・マルチカテゴリ分類では、機械学習モデルのトレーニング中にラベルで重み付けされた確率的偽陽性の直接化も可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a new metric to measure goodness-of-fit for
classifiers, the Real World Cost function. This metric factors in information
about a real world problem, such as financial impact, that other measures like
accuracy or F1 do not. This metric is also more directly interpretable for
users. To optimize for this metric, we introduce the Real-World- Weight
Crossentropy loss function, in both binary and single-label classification
variants. Both variants allow direct input of real world costs as weights. For
single-label, multicategory classification, our loss function also allows
direct penalization of probabilistic false positives, weighted by label, during
the training of a machine learning model. We compare the design of our loss
function to the binary crossentropy and categorical crossentropy functions, as
well as their weighted variants, to discuss the potential for improvement in
handling a variety of known shortcomings of machine learning, ranging from
imbalanced classes to medical diagnostic error to reinforcement of social bias.
We create scenarios that emulate those issues using the MNIST data set and
demonstrate empirical results of our new loss function. Finally, we sketch a
proof of this function based on Maximum Likelihood Estimation and discuss
future directions.
- Abstract（参考訳）: 本稿では,実世界コスト関数である分類器の適合度を測定するための新しい尺度を提案する。
この指標は、金融影響などの実世界の問題に関する情報において、正確性やF1のような他の指標がそうでないことを要因とする。
このメトリックは、ユーザにとってより直接的に解釈可能である。
この計量を最適化するために,2値および1ラベルの分類変種において実世界-重クロスエントロピー損失関数を導入する。
どちらの変種も実世界のコストを重みとして直接入力できる。
シングルラベル・マルチカテゴリ分類では、機械学習モデルのトレーニング中にラベルで重み付けされた確率的偽陽性の直接ペナル化が可能である。
損失関数の設計を二項クロスエントロピーおよびカテゴリークロスエントロピー関数、および重み付き変種と比較し、不均衡クラスから医療診断エラー、社会バイアスの強化まで、機械学習のさまざまな既知の欠点に対処するための改善の可能性について議論した。
MNISTデータセットを用いてこれらの問題をエミュレートするシナリオを作成し、新しい損失関数の実証結果を示す。
最後に, 最大確率推定に基づくこの関数の証明をスケッチし, 今後の方向性について考察する。
関連論文リスト
- AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。
ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。
本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:14:16Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。
オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。
また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
論文 参考訳（メタデータ） (2023-08-25T04:06:30Z) - Contrastive losses as generalized models of global epistasis [0.5461938536945721]
適合関数は、生物列の大きな空間を興味のある性質にマッピングする。
グローバルなエピスタシスモデルは、スパース潜伏関数が単調非線形性によって変換され、測定可能な適合度が生成されると仮定する。
我々は,MSEが有効でない制度においても,限られたデータからランキング関数を正確に推定できることを示す。
論文 参考訳（メタデータ） (2023-05-04T20:33:05Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳（メタデータ） (2022-10-31T22:39:32Z) - Reformulating van Rijsbergen's $F_{\beta}$ metric for weighted binary
cross-entropy [0.0]
本報告では,学習結果の報知のために,異なる損失関数とともに性能指標を組み込むことについて検討する。
焦点はvan Rijsbergens $F_beta$ metric -- 分類パフォーマンスを計測する一般的な選択肢である。
論文 参考訳（メタデータ） (2022-10-29T01:21:42Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z) - Adaptive Weighted Discriminator for Training Generative Adversarial
Networks [11.68198403603969]
本稿では,実物と偽物の重み付けを取り入れた新たな識別器損失関数群を提案する。
本手法は実部と偽部の合計である損失を持つ任意の判別器モデルに適用できる可能性がある。
論文 参考訳（メタデータ） (2020-12-05T23:55:42Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳（メタデータ） (2020-08-08T03:02:27Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳（メタデータ） (2020-07-05T18:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。