論文の概要: Block-regularized 5$\times$2 Cross-validated McNemar's Test for
Comparing Two Classification Algorithms
- arxiv url: http://arxiv.org/abs/2304.03990v1
- Date: Sat, 8 Apr 2023 11:35:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:23:21.362575
- Title: Block-regularized 5$\times$2 Cross-validated McNemar's Test for
Comparing Two Classification Algorithms
- Title（参考訳）: 2つの分類アルゴリズムの比較のためのブロック正規化5$\times$2クロスバリデーションMcNemarのテスト
- Authors: Ruibo Wang and Jihong Li
- Abstract要約: クロスバリデーション法はHO法を複数回繰り返し,安定な推定を行う。
ブロック規則化された5$times$2 CV (BCV) は、他のCV法よりも優れていることを示す多くの先行研究で示されている。
提案した5$times$2 BCV McNemarのシミュレーションおよび実世界のデータセットにおける有意な型I誤差と有望なパワーを実証する。
- 参考スコア（独自算出の注目度）: 5.7490445900906835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the task of comparing two classification algorithms, the widely-used
McNemar's test aims to infer the presence of a significant difference between
the error rates of the two classification algorithms. However, the power of the
conventional McNemar's test is usually unpromising because the hold-out (HO)
method in the test merely uses a single train-validation split that usually
produces a highly varied estimation of the error rates. In contrast, a
cross-validation (CV) method repeats the HO method in multiple times and
produces a stable estimation. Therefore, a CV method has a great advantage to
improve the power of McNemar's test. Among all types of CV methods, a
block-regularized 5$\times$2 CV (BCV) has been shown in many previous studies
to be superior to the other CV methods in the comparison task of algorithms
because the 5$\times$2 BCV can produce a high-quality estimator of the error
rate by regularizing the numbers of overlapping records between all training
sets. In this study, we compress the 10 correlated contingency tables in the
5$\times$2 BCV to form an effective contingency table. Then, we define a
5$\times$2 BCV McNemar's test on the basis of the effective contingency table.
We demonstrate the reasonable type I error and the promising power of the
proposed 5$\times$2 BCV McNemar's test on multiple simulated and real-world
data sets.
- Abstract（参考訳）: 2つの分類アルゴリズムを比較するタスクにおいて、広く使われているmcnemarの検定は、2つの分類アルゴリズムの誤差率の有意な差の存在を推測することを目的としている。
しかし、従来のマクネマー試験のパワーは、テストにおけるホールドアウト(ho)法は、通常非常に異なる誤差率の推定を生成する単一の列車評価分割のみを使用するため、通常予測されない。
対照的に、クロスバリデーション (CV) 法はHO法を複数回繰り返し、安定した推定を行う。
したがって、cv法はマクネマーのテストのパワーを向上させるのに非常に有利である。
5$\times$2 bcvは、すべてのトレーニングセット間で重なり合うレコードの数を規則化することにより、エラー率の高品質な推定器を作成できるため、アルゴリズムの比較タスクにおいて他のcv法よりも優れていると、多くの研究において、ブロック正規化された5$\times$2 cv(bcv)が示されてきた。
本研究では,5$\times$2 bcvの10個の連関テーブルを圧縮し,有効連関テーブルを作成する。
次に、有効な偶発性表に基づいて、5$\times$2 bcv mcnemar のテストを定義する。
提案した5$\times$2 BCV McNemarの複数のシミュレーションおよび実世界のデータセットにおける有意な型I誤差と有望なパワーを実証する。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。
厳密な手法により分類性能は向上するが、計算コストが高い。
本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
論文 参考訳（メタデータ） (2022-09-11T22:44:19Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z) - Certified Error Control of Candidate Set Pruning for Two-Stage Relevance
Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。
提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文 参考訳（メタデータ） (2022-05-19T16:00:13Z) - Confidence intervals for the Cox model test error from cross-validation [91.3755431537592]
クロスバリデーション(CV)は、モデルの試験誤差を推定する統計学習において最も広く使われている手法の1つである。
CVからの推定値を用いたテストエラーの標準信頼区間は、名目レベル以下である可能性がある。
この問題の1つの方法は、ネストされたCVを使って予測誤差の平均2乗誤差を推定することである。
論文 参考訳（メタデータ） (2022-01-26T06:40:43Z) - Fast and Informative Model Selection using Learning Curve
Cross-Validation [2.28438857884398]
クロスバリデーションメソッドは、大規模なデータセットでは不要に遅くなる可能性がある。
学習曲線(LCCV)に基づく新しい検証手法を提案する。
LCCVは反復的にトレーニングに使用されるインスタンスの数を増やします。
論文 参考訳（メタデータ） (2021-11-27T14:48:52Z) - Approximate Cross-Validation with Low-Rank Data in High Dimensions [35.74302895575951]
クロスバリデーションはモデルアセスメントの重要なツールです。
ACV法は、空間構造がデータに存在しない限り、高次元での速度と精度の両方を失うことができる。
我々は,ALRデータの存在下で高速かつ高精度なACVの新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-08-24T16:34:05Z) - Rademacher upper bounds for cross-validation errors with an application
to the lasso [6.837167110907022]
我々は、K$-foldクロスバリデーション(K$-CV)エラーに対する一般的な上限を確立する。
CV誤差上限は軽テール分布と重テール誤差分布の両方に適用される。
CVエラー上限を$K$-CVベースのアルゴリズムで計算するためのPythonパッケージを提供する。
論文 参考訳（メタデータ） (2020-07-30T17:13:03Z) - Multi-label Contrastive Predictive Coding [125.03510235962095]
差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。
本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。
同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
論文 参考訳（メタデータ） (2020-07-20T02:46:21Z) - Solving for multi-class using orthogonal coding matrices [0.0]
誤り訂正符号(英語: Error correcting code, ECC)は、バイナリを多クラス分類に一般化する一般的な方法である。
ここでは、7つの異なるデータセット上で2種類の直交ECCをテストする。
1対1の1対1の1対1の1対1の1対1の1対1とランダムなECCの3つの方法と比較する。
論文 参考訳（メタデータ） (2018-01-27T08:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。