論文の概要: Designing Decision Support Systems Using Counterfactual Prediction Sets
- arxiv url: http://arxiv.org/abs/2306.03928v2
- Date: Sun, 3 Mar 2024 09:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:31:39.557738
- Title: Designing Decision Support Systems Using Counterfactual Prediction Sets
- Title(参考訳): 対実予測セットを用いた意思決定支援システムの設計
- Authors: Eleni Straitouri and Manuel Gomez Rodriguez
- Abstract要約: 分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
- 参考スコア(独自算出の注目度): 17.863556085198205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision support systems for classification tasks are predominantly designed
to predict the value of the ground truth labels. However, since their
predictions are not perfect, these systems also need to make human experts
understand when and how to use these predictions to update their own
predictions. Unfortunately, this has been proven challenging. In this context,
it has been recently argued that an alternative type of decision support
systems may circumvent this challenge. Rather than providing a single label
prediction, these systems provide a set of label prediction values constructed
using a conformal predictor, namely a prediction set, and forcefully ask
experts to predict a label value from the prediction set. However, the design
and evaluation of these systems have so far relied on stylized expert models,
questioning their promise. In this paper, we revisit the design of this type of
systems from the perspective of online learning and develop a methodology that
does not require, nor assumes, an expert model. Our methodology leverages the
nested structure of the prediction sets provided by any conformal predictor and
a natural counterfactual monotonicity assumption to achieve an exponential
improvement in regret in comparison to vanilla bandit algorithms. We conduct a
large-scale human subject study ($n = 2{,}751$) to compare our methodology to
several competitive baselines. The results show that, for decision support
systems based on prediction sets, limiting experts' level of agency leads to
greater performance than allowing experts to always exercise their own agency.
We have made available the data gathered in our human subject study as well as
an open source implementation of our system at
https://github.com/Networks-Learning/counterfactual-prediction-sets.
- Abstract(参考訳): 分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
しかし、予測が完璧ではないため、これらのシステムは、いつどのように予測を更新するかを人間の専門家に理解させる必要がある。
残念ながら、これは挑戦的だった。
この文脈では最近、代替的な意思決定支援システムがこの課題を回避できるかもしれないと論じられている。
これらのシステムは、単一のラベル予測を提供するのではなく、共形予測器、すなわち予測セットを用いて構築されたラベル予測値セットを提供し、予測セットから専門家にラベル値を予測するよう強制的に要求する。
しかしながら、これらのシステムの設計と評価は、これまでのところ、形式化された専門家モデルに依存しており、彼らの約束に疑問を呈している。
本稿では,オンライン学習の観点から,このタイプのシステムの設計を再考し,専門家モデルを必要としない,あるいは想定しない方法論を開発する。
提案手法は,任意の共形予測器によって提供される予測集合の入れ子構造と自然反事実的単調性仮定を活用し,バニラバンディットアルゴリズムと比較し,後悔の指数関数的改善を実現する。
我々は、我々の方法論をいくつかの競争基準と比較するために、大規模な人体研究(n = 2{,}751$)を行う。
その結果, 予測セットに基づく意思決定支援システムにおいて, 専門家のエージェントレベルを制限することは, 専門家が常に自分自身のエージェンシーを行使することよりも, 高いパフォーマンスをもたらすことがわかった。
我々は、人間の主題研究に集められたデータと、我々のシステムのオープンソース実装をhttps://github.com/Networks-Learning/counterfactual-prediction-setsで公開しました。
関連論文リスト
- Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。
紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-04-24T07:32:49Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳(メタデータ) (2022-06-13T21:31:06Z) - Improving Expert Predictions with Conformal Prediction [14.850555720410677]
既存のシステムは通常、専門家に、いつ機関をシステムに割譲するか、いつ独自の機関を行使するかを理解する必要がある。
我々は、専門家がより正確な予測を行うことができ、予測者が依存する精度に頑健な自動意思決定支援システムを開発する。
論文 参考訳(メタデータ) (2022-01-28T09:35:37Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2021-02-25T17:08:39Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - Financial Data Analysis Using Expert Bayesian Framework For Bankruptcy
Prediction [0.0]
本稿では,エキスパートベイズフレームワークを用いた生成モデリングの新たな手法を提案する。
提案フレームワークの最大の利点は、モデリングプロセスに専門家の判断を明示的に取り入れることである。
提案手法は、金融や医療診断など、高度に規制された、あるいは安全性の高い応用に適している。
論文 参考訳(メタデータ) (2020-10-19T19:09:02Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳(メタデータ) (2020-07-14T15:47:37Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。