論文の概要: Aligning Multiclass Neural Network Classifier Criterion with Task Performance Metrics
- arxiv url: http://arxiv.org/abs/2405.20954v2
- Date: Mon, 26 May 2025 06:20:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:41.614023
- Title: Aligning Multiclass Neural Network Classifier Criterion with Task Performance Metrics
- Title（参考訳）: タスク性能指標を用いたマルチクラスニューラルネットワーク分類基準の調整
- Authors: Deyuan Li, Taesoo Daniel Lee, Marynel Vázquez, Nathan Tsoi,
- Abstract要約: マルチクラスニューラルネットワーク分類器は、一般的にクロスエントロピー損失を用いて訓練されるが、混乱行列から派生したメトリクスを用いて評価される。
このトレーニング目標と評価基準のミスマッチは、最適以下のパフォーマンスをもたらす可能性がある。
混乱行列に基づくメトリクスの密接なサロゲートを用いたマルチクラス分類器の訓練手法として,評価アライメントアライメント・アライメント・サロゲート・トレーニング(EAST)を提案する。
- 参考スコア（独自算出の注目度）: 2.8583357090792703
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multiclass neural network classifiers are typically trained using cross-entropy loss but evaluated using metrics derived from the confusion matrix, such as Accuracy, $F_\beta$-Score, and Matthews Correlation Coefficient. This mismatch between the training objective and evaluation metric can lead to suboptimal performance, particularly when the user's priorities differ from what cross-entropy implicitly optimizes. For example, in the presence of class imbalance, $F_1$-Score may be preferred over Accuracy. Similarly, given a preference towards precision, the $F_{\beta=0.25}$-Score will better reflect this preference than $F_1$-Score. However, standard cross-entropy loss does not accommodate such a preference. Building on prior work leveraging soft-set confusion matrices and a continuous piecewise-linear Heaviside approximation, we propose Evaluation Aligned Surrogate Training (EAST), a novel approach to train multiclass classifiers using close surrogates of confusion-matrix based metrics, thereby aligning a neural network classifier's predictions more closely to a target evaluation metric than typical cross-entropy loss. EAST introduces three key innovations: First, we propose a novel dynamic thresholding approach during training. Second, we propose using a multiclass soft-set confusion matrix. Third, we introduce an annealing process that gradually aligns the surrogate loss with the target evaluation metric. Our theoretical analysis shows that EAST results in consistent estimators of the target evaluation metric. Furthermore, we show that the learned network parameters converge asymptotically to values that optimize for the target evaluation metric. Extensive experiments validate the effectiveness of our approach, demonstrating improved alignment between training objectives and evaluation metrics, while outperforming existing methods across many datasets.
- Abstract（参考訳）: マルチクラスニューラルネットワーク分類器は一般的にクロスエントロピー損失を用いて訓練されるが、精度、$F_\beta$-Score、マシューズ相関係数などの混乱行列から導かれる指標を用いて評価される。
このトレーニング目標と評価基準のミスマッチは、特にユーザの優先順位が暗黙的に最適化されるものとは異なる場合、最適以下のパフォーマンスをもたらす可能性がある。
例えば、クラス不均衡がある場合、$F_1$-Scoreは精度よりも好まれる。
同様に、精度を優先すると$F_{\beta=0.25}$-Scoreは$F_1$-Scoreよりもこの好みを反映する。
しかし、標準的なクロスエントロピー損失はそのような嗜好を満たさない。
ソフトセットの混乱行列と連続的片方向のヘビサイド近似を応用した先行研究に基づいて,従来のクロスエントロピー損失よりも,ニューラルネットワークの分類器の予測を目標評価指標により密に整合させることにより,マルチクラス分類器を訓練するための新しいアプローチである評価アライメント・サロゲート・トレーニング(EAST)を提案する。
まず、トレーニング中に新しい動的しきい値付けアプローチを提案する。
次に,マルチクラスソフトセット混合行列を提案する。
第3に,サロゲート損失を目標評価基準と漸次調整するアニールプロセスを導入する。
理論的解析により,EASTは目標評価指標の一貫した推定値が得られることが示された。
さらに、学習したネットワークパラメータは、目標評価基準に最適化された値に漸近的に収束することを示す。
大規模な実験により、トレーニング目標と評価指標の整合性を向上し、既存の手法を多くのデータセットで上回りながら、アプローチの有効性を検証した。
関連論文リスト
- Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である
我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。
提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文 参考訳（メタデータ） (2024-05-16T17:58:44Z) - Hyperspherical Classification with Dynamic Label-to-Prototype Assignment [5.978350039412277]
トレーニング中に各プロトタイプに割り当てられたカテゴリを最適化する,シンプルで効果的な手法を提案する。
この最適化は、勾配降下とバイパルチドマッチングの逐次組み合わせを用いて解決する。
CIFAR-100では1.22%の精度で、ImageNet-200では2.15%の精度で競合他社よりも優れています。
論文 参考訳（メタデータ） (2024-03-25T17:01:34Z) - Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳（メタデータ） (2023-11-01T16:37:00Z) - Efficient Maximal Coding Rate Reduction by Variational Forms [25.1177997721719]
我々は,最大符号化率低下の原理を,訓練精度を損なうことなく大幅にスケール可能な形式に再構成する。
画像分類実験により,提案した定式化が元のMCR$2$目標値の最適化よりも大幅に向上することが示された。
論文 参考訳（メタデータ） (2022-03-31T20:39:53Z) - Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。
ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。
分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文 参考訳（メタデータ） (2021-11-10T22:12:52Z) - A Minimax Probability Machine for Non-Decomposable Performance Measures [15.288802707471792]
不均衡な分類タスクは多くの現実世界のアプリケーションで広く使われている。
minimax確率機械はバイナリ分類問題の一般的な方法である。
本稿では,不均衡な分類タスクを扱うために使用できる,$f_beta$測度のための新しい minimax 確率マシン mpmf を開発した。
論文 参考訳（メタデータ） (2021-02-28T04:58:46Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Bridging the Gap: Unifying the Training and Evaluation of Neural Network
Binary Classifiers [0.4893345190925178]
本論文では,Heaviside関数の微分可能な近似と,ソフトセットを用いた典型的な混乱行列値の確率的ビューを組み合わせたニューラルネットワークバイナリ分類器の訓練手法を提案する。
我々の理論解析は,ソフトセットを用いた$F_$-Scoreなどの評価基準を最適化する手法の利点を示している。
論文 参考訳（メタデータ） (2020-09-02T22:13:26Z) - Structure Learning in Inverse Ising Problems Using $\ell_2$-Regularized
Linear Estimator [8.89493507314525]
モデルミスマッチにも拘わらず,正則化を伴わずに線形回帰を用いてネットワーク構造を完璧に識別できることを示す。
本稿では,2段階推定器を提案する。第1段階では隆起回帰を用い,比較的小さな閾値で推算を行う。
適切な正規化係数としきい値を持つ推定器は、0M/N1$でもネットワーク構造の完全同定を実現する。
論文 参考訳（メタデータ） (2020-08-19T09:11:33Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳（メタデータ） (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。