論文の概要: Improving Expert Predictions with Conformal Prediction
- arxiv url: http://arxiv.org/abs/2201.12006v5
- Date: Fri, 30 Jun 2023 13:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 16:11:28.749293
- Title: Improving Expert Predictions with Conformal Prediction
- Title(参考訳): コンフォメーション予測によるエキスパート予測の改善
- Authors: Eleni Straitouri and Lequn Wang and Nastaran Okati and Manuel Gomez
Rodriguez
- Abstract要約: 既存のシステムは通常、専門家に、いつ機関をシステムに割譲するか、いつ独自の機関を行使するかを理解する必要がある。
我々は、専門家がより正確な予測を行うことができ、予測者が依存する精度に頑健な自動意思決定支援システムを開発する。
- 参考スコア(独自算出の注目度): 14.850555720410677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated decision support systems promise to help human experts solve
multiclass classification tasks more efficiently and accurately. However,
existing systems typically require experts to understand when to cede agency to
the system or when to exercise their own agency. Otherwise, the experts may be
better off solving the classification tasks on their own. In this work, we
develop an automated decision support system that, by design, does not require
experts to understand when to trust the system to improve performance. Rather
than providing (single) label predictions and letting experts decide when to
trust these predictions, our system provides sets of label predictions
constructed using conformal prediction$\unicode{x2014}$prediction
sets$\unicode{x2014}$and forcefully asks experts to predict labels from these
sets. By using conformal prediction, our system can precisely trade-off the
probability that the true label is not in the prediction set, which determines
how frequently our system will mislead the experts, and the size of the
prediction set, which determines the difficulty of the classification task the
experts need to solve using our system. In addition, we develop an efficient
and near-optimal search method to find the conformal predictor under which the
experts benefit the most from using our system. Simulation experiments using
synthetic and real expert predictions demonstrate that our system may help
experts make more accurate predictions and is robust to the accuracy of the
classifier the conformal predictor relies on.
- Abstract(参考訳): 自動意思決定支援システムは、人間の専門家がより効率的かつ正確にマルチクラス分類タスクを解決できるようにする。
しかし、既存のシステムは一般に専門家に、いつエージェンシーをシステムに割譲するか、いつ独自のエージェンシーを行使するかを理解する必要がある。
さもなければ、専門家は自分で分類タスクを解くのが良いかもしれない。
本研究は,自動意思決定支援システムの開発であり,設計上,システムの性能向上をいつ信頼するかを専門家が理解する必要がなくなる。
これらの予測をいつ信頼するかを専門家が判断する代わりに、このシステムは適合予測$\unicode{x2014}$prediction set$\unicode{x2014}$を用いて構築されたラベル予測セットを提供し、専門家にこれらのセットからラベルを予測するよう強制的に要求する。
共形予測を用いて,本システムでは,真のラベルが予測セットに含まれていない確率と,専門家がシステムを用いて解決しなければならない分類作業の難しさを判断する予測セットのサイズを正確にトレードオフすることができる。
さらに,本システムの利用により,専門家が最も利益を享受できる共形予測器を効率よく,ほぼ最適に探索する手法を開発した。
合成および実エキスパート予測を用いたシミュレーション実験により,コンフォーメーション予測器が依存する分類器の精度にロバストな精度で,より正確な予測を行うことができることを示す。
関連論文リスト
- Designing Decision Support Systems Using Counterfactual Prediction Sets [17.863556085198205]
分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
論文 参考訳(メタデータ) (2023-06-06T18:00:09Z) - No-Regret Online Prediction with Strategic Experts [16.54912614895861]
オンラインバイナリ予測の一般化をエキスパートアドバイスフレームワークを用いて研究し、各ラウンドで、学習者は、Kドルの専門家のプールからmgeq 1ドルの専門家を選ぶことができる。
我々は、専門家が戦略的に行動し、彼らの信念を誤報することでアルゴリズムの予測への影響を最大化することを目的とした設定に焦点を当てる。
目標は,次の2つの要件を満たすアルゴリズムを設計することです。 1) $textitIncentive-compatible$: 専門家に信念を真実に報告させるインセンティブ,2) $textitNo-regret$: Achieve。
論文 参考訳(メタデータ) (2023-05-24T16:43:21Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳(メタデータ) (2022-06-13T21:31:06Z) - Are You Smarter Than a Random Expert? The Robust Aggregation of
Substitutable Signals [14.03122229316614]
本稿では,幅広い情報構造から専門家の知識を逆選択する文脈において,予測集約の研究を開始する。
投射的代替条件の下では、専門家の予測の平均値を取得することは、ランダムな専門家を信頼する戦略によって大幅に改善される。
本研究では, 専門家の予測を平均化し, 一定の要因によって前者から遠ざかることで平均を極端に推し進めることにより, 集積器の性能保証は, 事前の知識がなくても実現可能であることを示す。
論文 参考訳(メタデータ) (2021-11-04T20:50:30Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。
本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2021-02-25T17:08:39Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳(メタデータ) (2021-01-07T18:59:33Z) - Right Decisions from Wrong Predictions: A Mechanism Design Alternative
to Individual Calibration [107.15813002403905]
意思決定者は、しばしば不完全な確率予測に頼る必要がある。
本稿では,予測ユーティリティが実際に取得したユーティリティと一致することを保証する補償機構を提案する。
本研究では、乗客が飛行遅延確率に基づいて、個々の旅行計画をどのように確実に最適化できるかを示すアプリケーションを示す。
論文 参考訳(メタデータ) (2020-11-15T08:22:39Z) - Malicious Experts versus the multiplicative weights algorithm in online
prediction [85.62472761361107]
2人の専門家と1人の予測者による予測問題を考える。
専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。
もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
論文 参考訳(メタデータ) (2020-03-18T20:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。