論文の概要: Provably Improving Expert Predictions with Conformal Prediction
- arxiv url: http://arxiv.org/abs/2201.12006v2
- Date: Mon, 31 Jan 2022 15:22:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 12:37:07.640570
- Title: Provably Improving Expert Predictions with Conformal Prediction
- Title（参考訳）: コンフォメーション予測による専門家予測の改善
- Authors: Eleni Straitouri and Lequn Wang and Nastaran Okati and Manuel Gomez
Rodriguez
- Abstract要約: 我々は、専門家がいつ信頼してパフォーマンスを向上できるかを理解する必要のない自動意思決定支援システムを開発する。
まず、共形予測の観点から、そのようなシステムの設計を見て、ラベルの推奨サブセットが真のラベルを含む確率が、ほぼ正確にターゲットの確率値と一致することを確かめる。
- 参考スコア（独自算出の注目度）: 14.850555720410677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated decision support systems promise to help human experts solve tasks
more efficiently and accurately. However, existing systems typically require
experts to understand when to cede agency to the system or when to exercise
their own agency. Moreover, if the experts develop a misplaced trust in the
system, their performance may worsen. In this work, we lift the above
requirement and develop automated decision support systems that, by design, do
not require experts to understand when to trust them to provably improve their
performance. To this end, we focus on multiclass classification tasks and
consider automated decision support systems that, for each data sample, use a
classifier to recommend a subset of labels to a human expert. We first show
that, by looking at the design of such systems from the perspective of
conformal prediction, we can ensure that the probability that the recommended
subset of labels contains the true label matches almost exactly a target
probability value. Then, we identify the set of target probability values under
which the human expert is provably better off predicting a label among those in
the recommended subset and develop an efficient practical method to find a
near-optimal target probability value. Experiments on synthetic and real data
demonstrate that our system can help the experts make more accurate predictions
and is robust to the accuracy of the classifier it relies on.
- Abstract（参考訳）: 自動意思決定支援システムは、人間の専門家がより効率的に正確にタスクを解決できるようにする。
しかし、既存のシステムは一般に専門家に、いつエージェンシーをシステムに割譲するか、いつ独自のエージェンシーを行使するかを理解する必要がある。
さらに、専門家がシステムに対する誤った信頼を育むと、パフォーマンスが悪化する可能性がある。
この作業では、上記の要件を引き上げ、設計上、専門家がいつパフォーマンスを確実に向上させるかを理解する必要のない自動意思決定支援システムを開発する。
この目的のために,マルチクラス分類タスクに着目し,各データサンプルに対してラベルのサブセットを人間エキスパートに推薦するために分類器を使用する自動決定支援システムを検討する。
まず,そのようなシステムの設計を共形予測の観点から見ることにより,ラベルの推奨部分集合が真のラベルを含む確率が,ほぼ正確にターゲット確率値に一致することを確かめる。
そこで,提案するサブセット内のラベルの予測が極めて良好であるターゲット確率値のセットを特定し,最適に近いターゲット確率値を求めるための効率的な実用的な方法を開発した。
合成データと実データを用いた実験により,本システムはより正確な予測を行うことができ,それに依存する分類器の精度にロバストであることが証明された。
関連論文リスト
- Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - Controlling Counterfactual Harm in Decision Support Systems Based on Prediction Sets [14.478233576808876]
予測セットに基づく意思決定支援システムでは、正確性と因果的害との間にトレードオフがある。
自然で検証不能な単調な仮定の下では、システム自体が人間による予測を用いて、どれだけの頻度で害を引き起こす可能性があるかを推定することができる。
また, 仮説が弱く, 検証可能な場合, 人間による予測のみを用いて, システムが再び危害を引き起こす頻度を制限できることも示している。
論文 参考訳（メタデータ） (2024-06-10T18:00:00Z) - Towards Human-AI Complementarity with Predictions Sets [14.071862670474832]
予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。
共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。
我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-27T18:00:00Z) - Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
論文 参考訳（メタデータ） (2023-06-06T18:00:09Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-02-25T17:08:39Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳（メタデータ） (2021-01-07T18:59:33Z) - Right Decisions from Wrong Predictions: A Mechanism Design Alternative
to Individual Calibration [107.15813002403905]
意思決定者は、しばしば不完全な確率予測に頼る必要がある。
本稿では,予測ユーティリティが実際に取得したユーティリティと一致することを保証する補償機構を提案する。
本研究では、乗客が飛行遅延確率に基づいて、個々の旅行計画をどのように確実に最適化できるかを示すアプリケーションを示す。
論文 参考訳（メタデータ） (2020-11-15T08:22:39Z) - Malicious Experts versus the multiplicative weights algorithm in online
prediction [85.62472761361107]
2人の専門家と1人の予測者による予測問題を考える。
専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。
もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
論文 参考訳（メタデータ） (2020-03-18T20:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。