Fugu-MT 論文翻訳(概要): On Evaluating the Quality of Rule-Based Classification Systems

論文の概要: On Evaluating the Quality of Rule-Based Classification Systems

arxiv url: http://arxiv.org/abs/2004.02671v1
Date: Mon, 6 Apr 2020 13:41:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 06:01:24.488292
Title: On Evaluating the Quality of Rule-Based Classification Systems
Title（参考訳）: ルールベース分類システムの品質評価について
Authors: Nassim Dehouche
Abstract要約: ルールベースの分類システムの品質を評価するために、2つの指標が使用される。これら2つの指標は不十分である可能性があり、追加の品質対策を開発する必要がある。理論的には、「良い」予測精度とカバレッジを示す分類システムは、にもかかわらず、自明に改善できることが示される。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Two indicators are classically used to evaluate the quality of rule-based classification systems: predictive accuracy, i.e. the system's ability to successfully reproduce learning data and coverage, i.e. the proportion of possible cases for which the logical rules constituting the system apply. In this work, we claim that these two indicators may be insufficient, and additional measures of quality may need to be developed. We theoretically show that classification systems presenting "good" predictive accuracy and coverage can, nonetheless, be trivially improved and illustrate this proposition with examples.
Abstract（参考訳）: 2つの指標は、古典的にルールベースの分類システムの品質を評価するために用いられる: 予測精度、すなわち、学習データとカバレッジをうまく再現するシステムの能力、すなわち、システムを構成する論理規則が適用される可能性の比率である。本研究では,これら2つの指標は不十分であり,さらなる品質指標の開発が必要であると主張している。理論的には,「良い」予測精度とカバレッジを示す分類システムは,その一方ではささやかに改善され,この提案を例で示すことができる。

関連論文リスト

Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文参考訳（メタデータ） (2024-07-05T10:43:41Z)
Overcoming Common Flaws in the Evaluation of Selective Classification Systems [3.197540295466042]
タスクアライメント、解釈可能性、柔軟性に関する選択的な分類において、マルチスレッドメトリクスに対する5つの要件を定義します。本稿では,全要件を満たす総合リスクカバレッジ曲線(mathrmAUGRC$)に基づくエリアを提案する。
論文参考訳（メタデータ） (2024-07-01T07:32:58Z)
Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文参考訳（メタデータ） (2022-11-21T18:47:11Z)
fairlib: A Unified Framework for Assessing and Improving Classification Fairness [66.27822109651757]
Fairlibは、分類の公平さを評価し改善するためのオープンソースのフレームワークである。我々は、前処理、訓練時間、後処理を含む14のデバイアス化手法を実装した。組み込まれたメトリクスは、最も一般的に使用されるフェアネス基準をカバーし、フェアネス評価のためにさらに一般化およびカスタマイズすることができる。
論文参考訳（メタデータ） (2022-05-04T03:50:23Z)
Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文参考訳（メタデータ） (2022-04-21T15:52:14Z)
Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems [66.61691401921296]
本稿では, ディープスピーカ埋込抽出器のスコアキャリブレーション法について検討する。この研究のさらなる焦点は、スコア正規化がシステムの校正性能に与える影響を推定することである。
論文参考訳（メタデータ） (2022-03-28T21:22:22Z)
Pushing the Right Buttons: Adversarial Evaluation of Quality Estimation [25.325624543852086]
本稿では,機械翻訳(MT)システムにおける品質推定の逆検定法を提案する。近年のSOTAによる人的判断と高い相関があるにもかかわらず、ある種の意味エラーはQEが検出する上で問題である。第二に、平均的に、あるモデルが意味保存と意味調整の摂動を区別する能力は、その全体的な性能を予測できることが示される。
論文参考訳（メタデータ） (2021-09-22T17:32:18Z)
Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文参考訳（メタデータ） (2021-03-04T20:51:03Z)
Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms [0.8376091455761261]
このフレームワーク内の多くの分類モデルが混合整数凸プログラムとして再キャストできることを示した。そして,提案問題において,分類結果の「解決不能な部分データ選択」が強く解決可能であることを示す。これにより、分類インスタンスを解決するための反復精錬戦略(IRS)の開発を動機付けます。
論文参考訳（メタデータ） (2020-12-22T21:09:38Z)
Maximizing Welfare with Incentive-Aware Evaluation Mechanisms [18.304048425012503]
本稿では,その特徴をコストで修正できる戦略的個人によって,入力が制御される評価問題を提案する。学習者は特徴を部分的に観察することしかできず、品質スコアに関して個人を分類することを目的としている。
論文参考訳（メタデータ） (2020-11-03T19:00:43Z)
Classification with Rejection Based on Cost-sensitive Classification [83.50402803131412]
学習のアンサンブルによる拒絶を用いた新しい分類法を提案する。実験により, クリーン, ノイズ, 正の未ラベル分類における提案手法の有用性が示された。
論文参考訳（メタデータ） (2020-10-22T14:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。