論文の概要: Statistical Comparisons of Classifiers by Generalized Stochastic Dominance

• arxiv url: http://arxiv.org/abs/2209.01857v1
• Date: Mon, 5 Sep 2022 09:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:14:05.220976
• Title: Statistical Comparisons of Classifiers by Generalized Stochastic Dominance
• Title（参考訳）: 一般化確率支配による分類器の統計的比較
• Authors: Christoph Jansen (1), Malte Nalenz (1), Georg Schollmeyer (1), Thomas Augustin (1) ((1) Ludwig-Maximilians-Universit\"at Munich)
• Abstract要約: 分類器の比較方法に関する合意は、まだ一致していない。 全ての比較フレームワークは、(少なくとも)品質基準の多重性、データセットの多重性、データセットの選択のランダム性/軌道性という3つの基本的な課題に直面している。 本稿では, 意思決定理論の最近の展開を取り入れた, 鮮明な議論に新たな視点を加える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although being a question in the very methodological core of machine learning, there is still no unanimous consensus on how to compare classifiers. Every comparison framework is confronted with (at least) three fundamental challenges: the multiplicity of quality criteria, the multiplicity of data sets and the randomness/arbitrariness of the selection of data sets. In this paper, we add a fresh view to the vivid debate by adopting recent developments in decision theory. Our resulting framework, based on so-called preference systems, ranks classifiers by a generalized concept of stochastic dominance, which powerfully circumvents the cumbersome, and often even self-contradictory, reliance on aggregates. Moreover, we show that generalized stochastic dominance can be operationalized by solving easy-to-handle linear programs and statistically tested by means of an adapted two-sample observation-randomization test. This indeed yields a powerful framework for the statistical comparison of classifiers with respect to multiple quality criteria simultaneously. We illustrate and investigate our framework in a simulation study and with standard benchmark data sets.
• Abstract（参考訳）: 機械学習の方法論的なコアでは疑問視されているが、分類器の比較方法に関する合意は一致していない。 すべての比較フレームワークは、品質基準の多重性、データセットの多重性、データセットの選択のランダム性/arbitrarinessという3つの基本的な課題に直面しています。 本稿では,最近の意思決定理論の展開を取り入れた,鮮明な議論に新たな視点を加える。 結果として得られた枠組みは,いわゆる選好システムに基づいて,確率的支配という一般的な概念によって分類器を分類する。 さらに, 一般化された確率的支配は, 簡単な線形プログラムを解いて操作可能であり, 適応型2サンプル観測ランダム化テストを用いて統計的に検証できることを示した。 これは、同時に複数の品質基準に関して分類器を統計的に比較するための強力な枠組みをもたらす。 シミュレーション研究と標準ベンチマークデータセットを用いて,我々のフレームワークを概説し,検討する。

関連論文リスト

• Ensemble Methods for Sequence Classification with Hidden Markov Models [8.241486511994202]
  隠れマルコフモデル(HMM)のためのアンサンブル手法を用いたシーケンス分類への軽量なアプローチを提案する。 HMMは、その単純さ、解釈可能性、効率性のために、不均衡または小さいデータセットを持つシナリオにおいて、大きな利点を提供する。 アンサンブルに基づくスコアリング手法により,任意の長さのシーケンスの比較が可能となり,不均衡なデータセットの性能が向上する。
  論文  参考訳（メタデータ） (2024-09-11T20:59:32Z)
• Multivariate Stochastic Dominance via Optimal Transport and Applications to Models Benchmarking [21.23500484100963]
  最適輸送の枠組みの下で, ほぼ優位性をスムーズなコストで評価する統計モデルを導入する。 また、Sinkhornアルゴリズムを用いた仮説テストフレームワークと効率的な実装を提案する。 複数のメトリクスで評価された大規模言語モデルの比較とベンチマークを行う方法について紹介する。
  論文  参考訳（メタデータ） (2024-06-10T16:14:50Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Beyond Adult and COMPAS: Fairness in Multi-Class Prediction [8.405162568925405]
  我々は、この問題を、事前訓練された(そして潜在的に不公平な)分類器を、対象のグループフェアネス要件を満たすモデルの集合に「投影する」という観点で定式化する。 投影された分類器を並列化して計算し、サンプルの複雑性と収束保証の両方を導出する反復アルゴリズムを提案する。 また,複数のクラス,複数の交差保護グループ,100万以上のサンプルを持つオープンデータセット上で,本手法を大規模に評価した。
  論文  参考訳（メタデータ） (2022-06-15T20:29:33Z)
• Probability-driven scoring functions in combining linear classifiers [0.913755431537592]
  本研究の目的は,線形分類器のアンサンブルに特化した新しい融合法を構築することである。 提案手法は,KEELレポジトリから抽出した複数のベンチマークデータセットを用いて参照手法と比較する。 実験により、ある条件下では、いくつかの改善が得られ得ることが示された。
  論文  参考訳（メタデータ） (2021-09-16T08:58:32Z)
• Preference learning along multiple criteria: A game-theoretic perspective [97.94912276610002]
  我々は、ブラックウェルの接近性からインスピレーションを得て、フォン・ノイマンの勝者の概念をマルチ基準設定に一般化する。 本フレームワークは,基準間の選好の非線形集約を可能にし,多目的最適化から線形化に基づくアプローチを一般化する。 凸最適化問題の解法として,マルチ基準問題インスタンスのブラックウェルの勝者が計算可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-05T03:23:11Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Random Hyperboxes [9.061408029414455]
  本稿では,個々のハイパーボックスに基づく分類器の強度に基づいて,提案した分類器の一般化誤差を示す。 提案する分類器の有効性は、慎重に選択された例を用いて分析する。 実データセットの一般化誤差境界に関する既存の問題を特定し,潜在的研究の方向性を報告する。
  論文  参考訳（メタデータ） (2020-06-01T03:42:20Z)
• Group Heterogeneity Assessment for Multilevel Models [68.95633278540274]
  多くのデータセットは固有のマルチレベル構造を含む。 この構造を考慮に入れることは、そのようなデータ上で行われた統計分析の正確性と校正にとって重要である。 本稿では,データ内のグループ化変数のレベルの違いを効率的に評価するフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T12:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。