論文の概要: Counterfactually Comparing Abstaining Classifiers

• arxiv url: http://arxiv.org/abs/2305.10564v2
• Date: Thu, 9 Nov 2023 06:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 18:24:00.355798
• Title: Counterfactually Comparing Abstaining Classifiers
• Title（参考訳）: 既知分類器の偽比較
• Authors: Yo Joong Choe, Aditya Gangrade, Aaditya Ramdas
• Abstract要約: 保持された分類器は、不確実な入力の予測を控えるオプションがある。 そこで本稿では, 留意点を欠落データとして扱うことによって, 留意点の評価と比較を行う新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 37.43975777164451
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Abstaining classifiers have the option to abstain from making predictions on inputs that they are unsure about. These classifiers are becoming increasingly popular in high-stakes decision-making problems, as they can withhold uncertain predictions to improve their reliability and safety. When evaluating black-box abstaining classifier(s), however, we lack a principled approach that accounts for what the classifier would have predicted on its abstentions. These missing predictions matter when they can eventually be utilized, either directly or as a backup option in a failure mode. In this paper, we introduce a novel approach and perspective to the problem of evaluating and comparing abstaining classifiers by treating abstentions as missing data. Our evaluation approach is centered around defining the counterfactual score of an abstaining classifier, defined as the expected performance of the classifier had it not been allowed to abstain. We specify the conditions under which the counterfactual score is identifiable: if the abstentions are stochastic, and if the evaluation data is independent of the training data (ensuring that the predictions are missing at random), then the score is identifiable. Note that, if abstentions are deterministic, then the score is unidentifiable because the classifier can perform arbitrarily poorly on its abstentions. Leveraging tools from observational causal inference, we then develop nonparametric and doubly robust methods to efficiently estimate this quantity under identification. Our approach is examined in both simulated and real data experiments.
• Abstract（参考訳）: abstaining classifiersには、不確かである入力に対する予測を省略するオプションがある。 これらの分類器は、信頼性と安全性を改善するための不確実な予測を無視できるため、高い意思決定問題で人気が高まっている。 しかし、ブラックボックスのabstaining classifier(s)を評価する場合、分類器がアブステンションで何を予測していたかを説明する原則的なアプローチが欠けている。 これらの不足した予測は、最終的にいつ、直接または障害モードのバックアップオプションとして利用できるかが重要となる。 本稿では,禁忌を欠いたデータとして扱うことにより,禁忌者の評価・比較の問題に対する新しいアプローチと展望を提案する。 評価手法は, 分類器が回避できない場合の期待性能として定義される, 分類器の反事実スコアを定義することに集中する。 評価データがトレーニングデータから独立している場合(予測がランダムに欠落していることを保証する)、そのスコアが識別可能である。 注意すべき点は、棄権が決定論的であれば、分類器はその棄権に対して任意に不利な動作を行うことができるので、スコアは特定できないことである。 観測因果推論からツールを活用することで,非パラメトリックかつ二重ロバストな手法を開発し,同定下でこの量を効率的に推定する。 本手法はシミュレーションと実データ実験の両方で検討した。

関連論文リスト

• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• Partial-Label Learning with a Reject Option [3.1201323892302444]
  本稿では,不確実な予測を拒否できるリジェクションオプションを持つ新しい部分ラベル学習アルゴリズムを提案する。 提案手法は, 競合相手と比較して, 非還元予測の数と精度の最良のトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-02-01T13:41:44Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification [0.0]
  我々は、代数的故障モードを用いて、ほぼ誤りのないトリオスを探索し、評価アンサンブルを過度に相関するものとして否定する。 生き残ったアンサンブルが生み出す結果は、時には1%にも達することがある。 独立性が仮定されるときに生じる推定値のテイラー展開は、実際、分類器はわずかに相関しているので、独立評価器が代数的盲点を持つかを明らかにするのに役立つ」。
  論文  参考訳（メタデータ） (2023-06-02T17:52:59Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Bounding Counterfactuals under Selection Bias [60.55840896782637]
  本稿では,識別不能なクエリと識別不能なクエリの両方に対処するアルゴリズムを提案する。 選択バイアスによって引き起こされる欠如にもかかわらず、利用可能なデータの可能性は無限であることを示す。
  論文  参考訳（メタデータ） (2022-07-26T10:33:10Z)
• Taming Adversarial Robustness via Abstaining [7.1975923901054575]
  我々は,観測を逆境によって摂動させることができる二元分類問題を考える。 我々は、予測に対する信頼度が低い場合に、分類器が決定を棄却する断定オプションを含む。 本研究では, 減衰領域の選択方法に関係なく, 両指標のトレードオフが存在することを示した。
  論文  参考訳（メタデータ） (2021-04-06T07:36:48Z)
• Classification with abstention but without disparities [5.025654873456756]
  我々は、異なる影響を回避しつつ、予測を棄却できる汎用的な分類アルゴリズムを構築した。 提案したアルゴリズムに対して,有限サンプルリスク,公平性,および留意保証を確立する。 本手法は, 適度な禁制率により, リスク・フェアネストレードオフを回避できることを実証的に示す。
  論文  参考訳（メタデータ） (2021-02-24T12:43:55Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。