論文の概要: Designing Decision Support Systems Using Counterfactual Prediction Sets
- arxiv url: http://arxiv.org/abs/2306.03928v2
- Date: Sun, 3 Mar 2024 09:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:31:39.557738
- Title: Designing Decision Support Systems Using Counterfactual Prediction Sets
- Title（参考訳）: 対実予測セットを用いた意思決定支援システムの設計
- Authors: Eleni Straitouri and Manuel Gomez Rodriguez
- Abstract要約: 分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
- 参考スコア（独自算出の注目度）: 17.863556085198205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision support systems for classification tasks are predominantly designed
to predict the value of the ground truth labels. However, since their
predictions are not perfect, these systems also need to make human experts
understand when and how to use these predictions to update their own
predictions. Unfortunately, this has been proven challenging. In this context,
it has been recently argued that an alternative type of decision support
systems may circumvent this challenge. Rather than providing a single label
prediction, these systems provide a set of label prediction values constructed
using a conformal predictor, namely a prediction set, and forcefully ask
experts to predict a label value from the prediction set. However, the design
and evaluation of these systems have so far relied on stylized expert models,
questioning their promise. In this paper, we revisit the design of this type of
systems from the perspective of online learning and develop a methodology that
does not require, nor assumes, an expert model. Our methodology leverages the
nested structure of the prediction sets provided by any conformal predictor and
a natural counterfactual monotonicity assumption to achieve an exponential
improvement in regret in comparison to vanilla bandit algorithms. We conduct a
large-scale human subject study ($n = 2{,}751$) to compare our methodology to
several competitive baselines. The results show that, for decision support
systems based on prediction sets, limiting experts' level of agency leads to
greater performance than allowing experts to always exercise their own agency.
We have made available the data gathered in our human subject study as well as
an open source implementation of our system at
https://github.com/Networks-Learning/counterfactual-prediction-sets.
- Abstract（参考訳）: 分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
しかし、予測が完璧ではないため、これらのシステムは、いつどのように予測を更新するかを人間の専門家に理解させる必要がある。
残念ながら、これは挑戦的だった。
この文脈では最近、代替的な意思決定支援システムがこの課題を回避できるかもしれないと論じられている。
これらのシステムは、単一のラベル予測を提供するのではなく、共形予測器、すなわち予測セットを用いて構築されたラベル予測値セットを提供し、予測セットから専門家にラベル値を予測するよう強制的に要求する。
しかしながら、これらのシステムの設計と評価は、これまでのところ、形式化された専門家モデルに依存しており、彼らの約束に疑問を呈している。
本稿では,オンライン学習の観点から,このタイプのシステムの設計を再考し,専門家モデルを必要としない,あるいは想定しない方法論を開発する。
提案手法は,任意の共形予測器によって提供される予測集合の入れ子構造と自然反事実的単調性仮定を活用し,バニラバンディットアルゴリズムと比較し,後悔の指数関数的改善を実現する。
我々は、我々の方法論をいくつかの競争基準と比較するために、大規模な人体研究(n = 2{,}751$)を行う。
その結果, 予測セットに基づく意思決定支援システムにおいて, 専門家のエージェントレベルを制限することは, 専門家が常に自分自身のエージェンシーを行使することよりも, 高いパフォーマンスをもたらすことがわかった。
我々は、人間の主題研究に集められたデータと、我々のシステムのオープンソース実装をhttps://github.com/Networks-Learning/counterfactual-prediction-setsで公開しました。
関連論文リスト
- Controlling Counterfactual Harm in Decision Support Systems Based on Prediction Sets [14.478233576808876]
予測セットに基づく意思決定支援システムでは、正確性と因果的害との間にトレードオフがある。
自然で検証不能な単調な仮定の下では、システム自体が人間による予測を用いて、どれだけの頻度で害を引き起こす可能性があるかを推定することができる。
また, 仮説が弱く, 検証可能な場合, 人間による予測のみを用いて, システムが再び危害を引き起こす頻度を制限できることも示している。
論文 参考訳（メタデータ） (2024-06-10T18:00:00Z) - Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。
共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。
我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-27T18:00:00Z) - Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。
紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-04-24T07:32:49Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Improving Expert Predictions with Conformal Prediction [14.850555720410677]
既存のシステムは通常、専門家に、いつ機関をシステムに割譲するか、いつ独自の機関を行使するかを理解する必要がある。
我々は、専門家がより正確な予測を行うことができ、予測者が依存する精度に頑健な自動意思決定支援システムを開発する。
論文 参考訳（メタデータ） (2022-01-28T09:35:37Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-02-25T17:08:39Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳（メタデータ） (2020-11-12T02:23:53Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳（メタデータ） (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。