論文の概要: Meta Pattern Concern Score: A Novel Evaluation Measure with Human Values
for Multi-classifiers
- arxiv url: http://arxiv.org/abs/2209.06408v2
- Date: Mon, 1 May 2023 13:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 19:39:34.171175
- Title: Meta Pattern Concern Score: A Novel Evaluation Measure with Human Values
for Multi-classifiers
- Title（参考訳）: meta pattern concern score: マルチクラス化のための人的価値を用いた新しい評価尺度
- Authors: Yanyun Wang, Dehui Du, Yuanhao Liu
- Abstract要約: 本稿ではメタパターン関連スコアという新しい評価尺度を提案する。
我々は,2種類の共通指標,すなわち混乱行列に基づく評価尺度と損失値の利点と欠点から学習する。
また,学習率を動的に調整することで,モデルトレーニングの洗練にも有効である。
- 参考スコア（独自算出の注目度）: 1.5039745292757671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While advanced classifiers have been increasingly used in real-world
safety-critical applications, how to properly evaluate the black-box models
given specific human values remains a concern in the community. Such human
values include punishing error cases of different severity in varying degrees
and making compromises in general performance to reduce specific dangerous
cases. In this paper, we propose a novel evaluation measure named Meta Pattern
Concern Score based on the abstract representation of probabilistic prediction
and the adjustable threshold for the concession in prediction confidence, to
introduce the human values into multi-classifiers. Technically, we learn from
the advantages and disadvantages of two kinds of common metrics, namely the
confusion matrix-based evaluation measures and the loss values, so that our
measure is effective as them even under general tasks, and the cross entropy
loss becomes a special case of our measure in the limit. Besides, our measure
can also be used to refine the model training by dynamically adjusting the
learning rate. The experiments on four kinds of models and six datasets confirm
the effectiveness and efficiency of our measure. And a case study shows it can
not only find the ideal model reducing 0.53% of dangerous cases by only
sacrificing 0.04% of training accuracy, but also refine the learning rate to
train a new model averagely outperforming the original one with a 1.62% lower
value of itself and 0.36% fewer number of dangerous cases.
- Abstract（参考訳）: 高度な分類器は、現実世界の安全クリティカルなアプリケーションでますます使われてきたが、特定の人間的価値に基づいてブラックボックスモデルを適切に評価する方法は、コミュニティの関心事である。
このような人的価値には、様々な度合いで異なる重大さのエラーケースを罰することや、特定の危険なケースを減らすために一般的なパフォーマンスで妥協することが含まれる。
本稿では,確率的予測の抽象的表現と予測信頼度における譲歩の調整可能なしきい値に基づくメタパターン関連スコア(メタパターンスコア)という新しい評価尺度を提案する。
技術的には、混乱行列に基づく評価尺度と損失値の2種類の共通指標の長所と短所から学習し、一般的なタスクでもこれらの指標は有効であり、交差エントロピー損失は限界における我々の指標の特別な場合となる。
また,学習率を動的に調整することで,モデルの訓練を洗練させることも可能である。
4種類のモデルと6つのデータセットを用いた実験により,本尺度の有効性と有効性を確認した。
ケーススタディでは、トレーニング精度の0.04%を犠牲にすることで、0.53%の危険ケースを削減できる理想的なモデルを見つけるだけでなく、学習率を改良して、従来のモデルよりも1.62%低い値と6%少ない危険ケースを平均的に上回るように訓練する。
関連論文リスト
- Free Record-Level Privacy Risk Evaluation Through Artifact-Based Methods [6.902279764206365]
本稿では,トレーニング中に利用可能な人工物のみを用いて,リスクの高いサンプルを識別する新しい手法を提案する。
本手法は, サンプルごとの損失トレースを分析し, 脆弱なデータサンプルを同定する。
論文 参考訳（メタデータ） (2024-11-08T18:04:41Z) - A Large-Scale Neutral Comparison Study of Survival Models on Low-Dimensional Data [7.199059106376138]
この研究は、単一イベント、右検閲、低次元生存データに焦点を当てた最初の大規模な中性ベンチマーク実験を示す。
我々は、32の公開データセット上で、古典的な統計的アプローチから多くの一般的な機械学習手法まで、18のモデルをベンチマークした。
論文 参考訳（メタデータ） (2024-06-06T14:13:38Z) - Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。
学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。
利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
論文 参考訳（メタデータ） (2023-12-25T21:25:55Z) - Tightening the Approximation Error of Adversarial Risk with Auto Loss
Function Search [12.263913626161155]
一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。
本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。
その結果,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-11-09T11:47:43Z) - Learning from Similarity-Confidence Data [94.94650350944377]
類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。
本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-02-13T07:31:16Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳（メタデータ） (2021-01-19T18:55:29Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z) - Uncertainty-Gated Stochastic Sequential Model for EHR Mortality
Prediction [6.170898159041278]
本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。
我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
論文 参考訳（メタデータ） (2020-03-02T04:41:28Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳（メタデータ） (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。