論文の概要: Algorithmic Accountability in Small Data: Sample-Size-Induced Bias Within Classification Metrics

• arxiv url: http://arxiv.org/abs/2505.03992v1
• Date: Tue, 06 May 2025 22:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.924812
• Title: Algorithmic Accountability in Small Data: Sample-Size-Induced Bias Within Classification Metrics
• Title（参考訳）: 小データのアルゴリズム的アカウンタビリティ:分類基準内におけるサンプルサイズ誘起バイアス
• Authors: Jarren Briscoe, Garrett Kepler, Daryl Deford, Assefaw Gebremedhin,
• Abstract要約: 分類指標におけるサンプルサイズバイアスの重要性を示す。 この啓示は、高解像度のバイアス評価におけるこれらの指標の有効性に挑戦する。 本稿では,モデルに依存しない評価と補正手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating machine learning models is crucial not only for determining their technical accuracy but also for assessing their potential societal implications. While the potential for low-sample-size bias in algorithms is well known, we demonstrate the significance of sample-size bias induced by combinatorics in classification metrics. This revelation challenges the efficacy of these metrics in assessing bias with high resolution, especially when comparing groups of disparate sizes, which frequently arise in social applications. We provide analyses of the bias that appears in several commonly applied metrics and propose a model-agnostic assessment and correction technique. Additionally, we analyze counts of undefined cases in metric calculations, which can lead to misleading evaluations if improperly handled. This work illuminates the previously unrecognized challenge of combinatorics and probability in standard evaluation practices and thereby advances approaches for performing fair and trustworthy classification methods.
• Abstract（参考訳）: 機械学習モデルを評価することは、その技術的正確性を決定するだけでなく、潜在的な社会的意味を評価するためにも重要である。 アルゴリズムにおける低サンプルサイズバイアスの可能性はよく知られているが、分類指標におけるコンビネータによるサンプルサイズバイアスの重要性を示す。 この啓示は、偏見を高解像度で評価する上で、特に社会アプリケーションでしばしば発生する異なるサイズのグループを比較する際に、これらの指標の有効性に挑戦する。 本稿では、いくつかの一般的なメトリクスに現れるバイアスの分析を行い、モデルに依存しない評価と補正手法を提案する。 さらに、計量計算における未定義ケースの数を解析し、不適切に処理された場合の誤った評価につながる可能性がある。 この研究は、標準評価の実践において、これまで認識されていなかった組合せ論の挑戦と確率を照らし、公正で信頼性の高い分類方法を実行するためのアプローチを前進させる。

関連論文リスト

• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Misclassification in Automated Content Analysis Causes Bias in Regression. Can We Fix It? Yes We Can! [0.30693357740321775]
  我々は,コミュニケーション学者が誤分類バイアスをほとんど無視していることを,体系的な文献レビューで示している。 既存の統計手法では、人間のアノテータによって作成されたような「金の標準」検証データを使って誤分類バイアスを補正することができる。 我々は、Rパッケージの誤分類モデルの設計と実装を含む、そのような手法を導入し、テストする。
  論文  参考訳（メタデータ） (2023-07-12T23:03:55Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Classifier uncertainty: evidence, potential impact, and probabilistic treatment [0.0]
  本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。 我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
  論文  参考訳（メタデータ） (2020-06-19T12:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。