論文の概要: The Optimal Input-Independent Baseline for Binary Classification: The
Dutch Draw
- arxiv url: http://arxiv.org/abs/2301.03318v1
- Date: Mon, 9 Jan 2023 13:11:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 16:32:36.448446
- Title: The Optimal Input-Independent Baseline for Binary Classification: The
Dutch Draw
- Title(参考訳): 二項分類のための最適入力独立ベースライン:オランダ図面
- Authors: Joris Pries, Etienne van de Bijl, Jan Klein, Sandjai Bhulai, Rob van
der Mei
- Abstract要約: 本研究の目的は,特徴値に依存しない基本手法について検討することである。
どのベースラインモデルが最適かを特定することにより、評価プロセスにおける重要な選択決定が簡単になる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Before any binary classification model is taken into practice, it is
important to validate its performance on a proper test set. Without a frame of
reference given by a baseline method, it is impossible to determine if a score
is `good' or `bad'. The goal of this paper is to examine all baseline methods
that are independent of feature values and determine which model is the `best'
and why. By identifying which baseline models are optimal, a crucial selection
decision in the evaluation process is simplified. We prove that the recently
proposed Dutch Draw baseline is the best input-independent classifier
(independent of feature values) for all positional-invariant measures
(independent of sequence order) assuming that the samples are randomly
shuffled. This means that the Dutch Draw baseline is the optimal baseline under
these intuitive requirements and should therefore be used in practice.
- Abstract(参考訳): バイナリ分類モデルが実践される前に、適切なテストセット上でその性能を検証することが重要である。
ベースラインメソッドによって与えられる参照フレームがなければ、スコアが‘good’か‘bad’かを判断することは不可能である。
本研究の目的は,特徴値に依存しないベースライン手法をすべて検討し,どのモデルがベストか,なぜかを決定することである。
どのベースラインモデルが最適かを特定することにより、評価プロセスにおける重要な選択決定が簡単になる。
その結果,最近提案されたオランダドローベースラインは,サンプルがランダムにシャッフルされていることを仮定して,すべての位置不変測度(シーケンス順序に依存しない)に対する入力非依存分類器として最適であることが証明された。
これはオランダのDrawベースラインがこれらの直感的な要求の下で最適なベースラインであり、それゆえに実際に使用されるべきであることを意味する。
関連論文リスト
- Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。
しかし、モデルスコアは真の肯定率と一致しないことが多い。
これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文 参考訳(メタデータ) (2023-11-20T12:40:25Z) - The Dutch Draw: Constructing a Universal Baseline for Binary Prediction
Models [2.8816551600116527]
パフォーマンススコアの「良さ」を評価するためには、適切なベースラインが必要である。
本稿では、ダッチ・ドロー(DD)と呼ばれる全ての二項分類モデルに対する普遍的ベースライン法を提案する。
論文 参考訳(メタデータ) (2022-03-24T14:20:27Z) - Scalable Optimal Classifiers for Adversarial Settings under Uncertainty [10.90668635921398]
本稿では,攻撃者に対して目的が不明な攻撃者がクラス-1データを生成する対角的設定において,最適な分類器を見つけることの問題点を考察する。
この低次元キャラクタリゼーションにより,ほぼほぼ最適な分類器をスケーラブルに計算する訓練手法が開発可能であることを示す。
論文 参考訳(メタデータ) (2021-06-28T13:33:53Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳(メタデータ) (2021-06-07T06:21:20Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - GANMEX: One-vs-One Attributions Guided by GAN-based Counterfactual
Explanation Baselines [11.816942730023886]
我々はGAN(Generative Adversarial Networks)を応用した新しいアプローチであるGANMEX(GAN-based Model Explainability)を提案する。
提案手法は, 対象クラスに最も近い実写的なサンプルとして, 対物的ベースラインを効果的に選択することで, 真の1-vs-1説明を提供する属性法を実現する。
論文 参考訳(メタデータ) (2020-11-11T19:05:27Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-15T10:08:39Z) - A Baseline for Shapley Values in MLPs: from Missingness to Neutrality [3.5939555573102853]
ディープニューラルネットワークはその正確性に基づいて勢いを増しているが、その解釈可能性はしばしば批判されている。
本稿では,中立値に応じてベースラインを選択する手法を提案する。
バイナリ分類タスクの文脈におけるベースラインの選択を実証的に検証する。
論文 参考訳(メタデータ) (2020-06-08T19:29:36Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。
次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
論文 参考訳(メタデータ) (2020-04-01T09:55:18Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。