論文の概要: Understanding Prediction Discrepancies in Machine Learning Classifiers

• arxiv url: http://arxiv.org/abs/2104.05467v1
• Date: Mon, 12 Apr 2021 13:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 23:02:00.993766
• Title: Understanding Prediction Discrepancies in Machine Learning Classifiers
• Title（参考訳）: 機械学習分類器における予測誤差の理解
• Authors: Xavier Renard, Thibault Laugel, Marcin Detyniecki
• Abstract要約: 本論文では,同じデータ上で訓練されたベストパフォーマンスモデル群の予測誤差を解析する。 モデルに依存しないアルゴリズムであるDIGは、局所的に矛盾を捉えて説明するために提案される。
• 参考スコア（独自算出の注目度）: 4.8793230799789535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A multitude of classifiers can be trained on the same data to achieve similar performances during test time, while having learned significantly different classification patterns. This phenomenon, which we call prediction discrepancies, is often associated with the blind selection of one model instead of another with similar performances. When making a choice, the machine learning practitioner has no understanding on the differences between models, their limits, where they agree and where they don't. But his/her choice will result in concrete consequences for instances to be classified in the discrepancy zone, since the final decision will be based on the selected classification pattern. Besides the arbitrary nature of the result, a bad choice could have further negative consequences such as loss of opportunity or lack of fairness. This paper proposes to address this question by analyzing the prediction discrepancies in a pool of best-performing models trained on the same data. A model-agnostic algorithm, DIG, is proposed to capture and explain discrepancies locally, to enable the practitioner to make the best educated decision when selecting a model by anticipating its potential undesired consequences. All the code to reproduce the experiments is available.
• Abstract（参考訳）: 多数の分類器を同じデータでトレーニングして、テスト期間中に同様のパフォーマンスを達成できる一方で、かなり異なる分類パターンを学習することができる。 この現象は予測不一致と呼ばれ、しばしば類似した性能を持つモデルではなく、あるモデルの盲点選択と関連づけられる。 選択を行う場合、機械学習の実践者は、モデルの違い、限界、同意する場所、そうでない場所について何も理解しません。 しかし、彼の選択は、選択された分類パターンに基づいて最終決定を行うため、インスタンスを不一致ゾーンに分類する具体的な結果をもたらす。 結果の任意の性質に加えて、機会の喪失や公平性の欠如など、悪い選択がさらにネガティブな結果をもたらす可能性がある。 本稿では,同一データ上で訓練された最高の性能モデル群における予測誤差を分析し,この問題に対処することを提案する。 モデル非依存のアルゴリズムであるDIGは、不一致を局所的に捉え、説明し、その潜在的な望ましくない結果を予測することによって、モデルを選択する際に最良の教育的判断を行えるようにする。 実験を再現するコードはすべて利用可能です。

関連論文リスト

• Bounding-Box Inference for Error-Aware Model-Based Reinforcement Learning [4.185571779339683]
  モデルに基づく強化学習では、シミュレーションされた経験は実環境からの経験と同等のものとして扱われることが多い。 モデルベースの更新に対する不確実性を推定するために、最適結果が分布に敏感な推測を必要とすることを示す。 境界ボックス推論は効果的な選択計画を支援することができる。
  論文  参考訳（メタデータ） (2024-06-23T04:23:15Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• How to select predictive models for causal inference? [0.0]
  従来の機械学習モデル選択は因果推論の最良の結果モデルを選択しないことを示す。 Rtext-risk$, フレキシブルな推定器を用いて列車集合上のニュアンスモデルを計算する。
  論文  参考訳（メタデータ） (2023-02-01T10:58:55Z)
• Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
  1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。 これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-14T14:33:39Z)
• A Tale Of Two Long Tails [4.970364068620608]
  モデルが不確実である例を特定し、その不確実性の原因を特徴付ける。 追加情報が存在する場合の学習速度が,非典型例と雑音例とで異なるか否かを検討する。 以上の結果から,トレーニングの過程で適切に設計された介入は,異なる不確実性源の識別・識別に有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-27T22:49:59Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。