論文の概要: Controlling Counterfactual Harm in Decision Support Systems Based on Prediction Sets
- arxiv url: http://arxiv.org/abs/2406.06671v1
- Date: Mon, 10 Jun 2024 18:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 20:35:12.752616
- Title: Controlling Counterfactual Harm in Decision Support Systems Based on Prediction Sets
- Title（参考訳）: 予測集合に基づく意思決定支援システムにおける対実的ハームの制御
- Authors: Eleni Straitouri, Suhas Thejaswi, Manuel Gomez Rodriguez,
- Abstract要約: 予測セットに基づく意思決定支援システムでは、正確性と因果的害との間にトレードオフがある。
自然で検証不能な単調な仮定の下では、システム自体が人間による予測を用いて、どれだけの頻度で害を引き起こす可能性があるかを推定することができる。
また, 仮説が弱く, 検証可能な場合, 人間による予測のみを用いて, システムが再び危害を引き起こす頻度を制限できることも示している。
- 参考スコア（独自算出の注目度）: 14.478233576808876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision support systems based on prediction sets help humans solve multiclass classification tasks by narrowing down the set of potential label values to a subset of them, namely a prediction set, and asking them to always predict label values from the prediction sets. While this type of systems have been proven to be effective at improving the average accuracy of the predictions made by humans, by restricting human agency, they may cause harm$\unicode{x2014}$a human who has succeeded at predicting the ground-truth label of an instance on their own may have failed had they used these systems. In this paper, our goal is to control how frequently a decision support system based on prediction sets may cause harm, by design. To this end, we start by characterizing the above notion of harm using the theoretical framework of structural causal models. Then, we show that, under a natural, albeit unverifiable, monotonicity assumption, we can estimate how frequently a system may cause harm using only predictions made by humans on their own. Further, we also show that, under a weaker monotonicity assumption, which can be verified experimentally, we can bound how frequently a system may cause harm again using only predictions made by humans on their own. Building upon these assumptions, we introduce a computational framework to design decision support systems based on prediction sets that are guaranteed to cause harm less frequently than a user-specified value using conformal risk control. We validate our framework using real human predictions from two different human subject studies and show that, in decision support systems based on prediction sets, there is a trade-off between accuracy and counterfactual harm.
- Abstract（参考訳）: 予測セットに基づく決定支援システムは、潜在的なラベル値のセットをそのサブセット、すなわち予測セットに絞り込み、予測セットから常にラベル値を予測することで、人間がマルチクラス分類タスクを解くのに役立つ。
この種のシステムは、人間による予測の平均精度を向上させるのに有効であることが証明されているが、人間のエージェントを制限することで、それらのシステムを使用した場合、インスタンスの基底構造ラベルの予測に成功した人間に有害な$\unicode{x2014}$aを引き起こす可能性がある。
本稿では,予測セットに基づく意思決定支援システムが,設計によってどの程度の頻度で害をもたらすかを制御することを目的とする。
この目的のために、構造因果モデルの理論的枠組みを用いて、上記の調和の概念を特徴づけることから始める。
そして,自然に検証不可能な単調性仮定の下で,人間による予測のみを用いて,システムがどの程度の頻度で害を引き起こすかを推定できることを示した。
さらに,実験により検証可能な,より弱い単調性仮定の下では,人間のみによる予測を用いて,システムが再び害を引き起こす頻度を制限できることも示している。
このような仮定に基づいて,予測セットに基づく意思決定支援システムを設計するための計算フレームワークを導入し,コンフォメーションリスク制御を用いたユーザ指定値よりも高い頻度で害をもたらすことを保証した。
我々は,2つの異なる被験者による実際の人的予測を用いて枠組みを検証し,予測セットに基づく意思決定支援システムにおいては,精度と対実的害との間にトレードオフが存在することを示す。
関連論文リスト
- Conformal Prediction Sets Can Cause Disparate Impact [4.61590049339329]
コンフォーマル予測は、機械学習モデルの不確実性を定量化するための有望な方法である。
予測セットを提供することは、彼らの決定の不公平性を高めることができることを示す。
カバー範囲を等化するのではなく、経験的により公平な結果をもたらすグループ間でセットサイズを等化することを提案する。
論文 参考訳（メタデータ） (2024-10-02T18:00:01Z) - Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。
共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。
我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-27T18:00:00Z) - Conformal Prediction Sets Improve Human Decision Making [5.151594941369301]
本研究では,人間による意思決定を支援するために,共形予測セットの有用性について検討する。
その結果、人間に共形予測を与えると、その精度は、同じカバレッジ保証の固定サイズ予測セットよりも向上することがわかった。
論文 参考訳（メタデータ） (2024-01-24T19:01:22Z) - Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
論文 参考訳（メタデータ） (2023-06-06T18:00:09Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Improving Expert Predictions with Conformal Prediction [14.850555720410677]
既存のシステムは通常、専門家に、いつ機関をシステムに割譲するか、いつ独自の機関を行使するかを理解する必要がある。
我々は、専門家がより正確な予測を行うことができ、予測者が依存する精度に頑健な自動意思決定支援システムを開発する。
論文 参考訳（メタデータ） (2022-01-28T09:35:37Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - Right Decisions from Wrong Predictions: A Mechanism Design Alternative
to Individual Calibration [107.15813002403905]
意思決定者は、しばしば不完全な確率予測に頼る必要がある。
本稿では,予測ユーティリティが実際に取得したユーティリティと一致することを保証する補償機構を提案する。
本研究では、乗客が飛行遅延確率に基づいて、個々の旅行計画をどのように確実に最適化できるかを示すアプリケーションを示す。
論文 参考訳（メタデータ） (2020-11-15T08:22:39Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳（メタデータ） (2020-11-12T02:23:53Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳（メタデータ） (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。