論文の概要: AnyLoss: Transforming Classification Metrics into Loss Functions
- arxiv url: http://arxiv.org/abs/2405.14745v1
- Date: Thu, 23 May 2024 16:14:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 13:56:49.042182
- Title: AnyLoss: Transforming Classification Metrics into Loss Functions
- Title（参考訳）: AnyLoss: 分類基準を損失関数に変換する
- Authors: Doheon Han, Nuno Moniz, Nitesh V Chawla,
- Abstract要約: 評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。
ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。
本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
- 参考スコア（独自算出の注目度）: 21.34290540936501
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many evaluation metrics can be used to assess the performance of models in binary classification tasks. However, most of them are derived from a confusion matrix in a non-differentiable form, making it very difficult to generate a differentiable loss function that could directly optimize them. The lack of solutions to bridge this challenge not only hinders our ability to solve difficult tasks, such as imbalanced learning, but also requires the deployment of computationally expensive hyperparameter search processes in model selection. In this paper, we propose a general-purpose approach that transforms any confusion matrix-based metric into a loss function, \textit{AnyLoss}, that is available in optimization processes. To this end, we use an approximation function to make a confusion matrix represented in a differentiable form, and this approach enables any confusion matrix-based metric to be directly used as a loss function. The mechanism of the approximation function is provided to ensure its operability and the differentiability of our loss functions is proved by suggesting their derivatives. We conduct extensive experiments under diverse neural networks with many datasets, and we demonstrate their general availability to target any confusion matrix-based metrics. Our method, especially, shows outstanding achievements in dealing with imbalanced datasets, and its competitive learning speed, compared to multiple baseline models, underscores its efficiency.
- Abstract（参考訳）: バイナリ分類タスクにおけるモデルの性能を評価するために、多くの評価指標を使用することができる。
しかし、そのほとんどは非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは極めて困難である。
この課題を橋渡しするソリューションの欠如は、不均衡学習のような難しいタスクを解く能力を妨げているだけでなく、計算に高価なハイパーパラメーター探索プロセスをモデル選択に配置する必要がある。
本稿では、任意の混乱行列に基づく計量を、最適化プロセスで利用できる損失関数である「textit{AnyLoss}」に変換する汎用的アプローチを提案する。
この目的のために、近似関数を用いて、微分行列を微分可能な形で表現し、この手法により、任意の混乱行列ベースの計量を損失関数として直接使用することができる。
近似関数の機構は、その演算性と損失関数の微分可能性を保証するために、それらの導関数を提案することによって証明される。
我々は、多くのデータセットを持つ多様なニューラルネットワークの下で広範な実験を行い、混乱行列ベースのメトリクスをターゲットとして、それらの一般的な可用性を実証する。
特に本手法は,複数のベースラインモデルと比較して,不均衡なデータセットを扱う上での卓越した成果と,その効率を裏付ける学習速度を示す。
関連論文リスト
- Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳（メタデータ） (2022-02-26T17:32:57Z) - Efficient Multidimensional Functional Data Analysis Using Marginal
Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。
本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。
我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文 参考訳（メタデータ） (2021-07-30T16:02:15Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳（メタデータ） (2021-04-13T23:21:01Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。
PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
論文 参考訳（メタデータ） (2020-10-15T17:59:08Z) - Bridging the Gap: Unifying the Training and Evaluation of Neural Network
Binary Classifiers [0.4893345190925178]
本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。
我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
論文 参考訳（メタデータ） (2020-09-02T22:13:26Z) - A Flexible Optimization Framework for Regularized Matrix-Tensor
Factorizations with Linear Couplings [5.079136838868448]
行列とテンソルの分解を結合するフレキシブルなアルゴリズムフレームワークを提案する。
このフレームワークは、様々な制約、損失関数、線形変換との結合の使用を容易にする。
論文 参考訳（メタデータ） (2020-07-19T06:49:59Z) - Eigendecomposition-Free Training of Deep Networks for Linear
Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。
この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。
我々の手法は収束特性が良く、最先端の結果が得られます。
論文 参考訳（メタデータ） (2020-04-15T04:29:34Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。