論文の概要: Improving Expert Predictions with Conformal Prediction

• arxiv url: http://arxiv.org/abs/2201.12006v5
• Date: Fri, 30 Jun 2023 13:33:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 16:11:28.749293
• Title: Improving Expert Predictions with Conformal Prediction
• Title（参考訳）: コンフォメーション予測によるエキスパート予測の改善
• Authors: Eleni Straitouri and Lequn Wang and Nastaran Okati and Manuel Gomez Rodriguez
• Abstract要約: 既存のシステムは通常、専門家に、いつ機関をシステムに割譲するか、いつ独自の機関を行使するかを理解する必要がある。 我々は、専門家がより正確な予測を行うことができ、予測者が依存する精度に頑健な自動意思決定支援システムを開発する。
• 参考スコア（独自算出の注目度）: 14.850555720410677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated decision support systems promise to help human experts solve multiclass classification tasks more efficiently and accurately. However, existing systems typically require experts to understand when to cede agency to the system or when to exercise their own agency. Otherwise, the experts may be better off solving the classification tasks on their own. In this work, we develop an automated decision support system that, by design, does not require experts to understand when to trust the system to improve performance. Rather than providing (single) label predictions and letting experts decide when to trust these predictions, our system provides sets of label predictions constructed using conformal prediction$\unicode{x2014}$prediction sets$\unicode{x2014}$and forcefully asks experts to predict labels from these sets. By using conformal prediction, our system can precisely trade-off the probability that the true label is not in the prediction set, which determines how frequently our system will mislead the experts, and the size of the prediction set, which determines the difficulty of the classification task the experts need to solve using our system. In addition, we develop an efficient and near-optimal search method to find the conformal predictor under which the experts benefit the most from using our system. Simulation experiments using synthetic and real expert predictions demonstrate that our system may help experts make more accurate predictions and is robust to the accuracy of the classifier the conformal predictor relies on.
• Abstract（参考訳）: 自動意思決定支援システムは、人間の専門家がより効率的かつ正確にマルチクラス分類タスクを解決できるようにする。 しかし、既存のシステムは一般に専門家に、いつエージェンシーをシステムに割譲するか、いつ独自のエージェンシーを行使するかを理解する必要がある。 さもなければ、専門家は自分で分類タスクを解くのが良いかもしれない。 本研究は,自動意思決定支援システムの開発であり,設計上,システムの性能向上をいつ信頼するかを専門家が理解する必要がなくなる。 これらの予測をいつ信頼するかを専門家が判断する代わりに、このシステムは適合予測$\unicode{x2014}$prediction set$\unicode{x2014}$を用いて構築されたラベル予測セットを提供し、専門家にこれらのセットからラベルを予測するよう強制的に要求する。 共形予測を用いて,本システムでは,真のラベルが予測セットに含まれていない確率と,専門家がシステムを用いて解決しなければならない分類作業の難しさを判断する予測セットのサイズを正確にトレードオフすることができる。 さらに,本システムの利用により,専門家が最も利益を享受できる共形予測器を効率よく,ほぼ最適に探索する手法を開発した。 合成および実エキスパート予測を用いたシミュレーション実験により,コンフォーメーション予測器が依存する分類器の精度にロバストな精度で,より正確な予測を行うことができることを示す。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Controlling Counterfactual Harm in Decision Support Systems Based on Prediction Sets [14.478233576808876]
  予測セットに基づく意思決定支援システムでは、正確性と因果的害との間にトレードオフがある。 自然で検証不能な単調な仮定の下では、システム自体が人間による予測を用いて、どれだけの頻度で害を引き起こす可能性があるかを推定することができる。 また, 仮説が弱く, 検証可能な場合, 人間による予測のみを用いて, システムが再び危害を引き起こす頻度を制限できることも示している。
  論文  参考訳（メタデータ） (2024-06-10T18:00:00Z)
• Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
  分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。 本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。 私たちは専門家のモデルを必要としない方法論を開発しています。
  論文  参考訳（メタデータ） (2023-06-06T18:00:09Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Towards Unbiased and Accurate Deferral to Multiple Experts [19.24068936057053]
  本研究では, 分類器とディフェラルシステムを同時に学習するフレームワークを提案し, ディフェラルシステムは1人以上の人間専門家にディジェラルシステムを選択する。 本フレームワークは,偏りのある合成専門家による合成データセットとコンテンツモデレーションデータセットを用いてテストし,最終予測の精度と公平性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-02-25T17:08:39Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)
• Right Decisions from Wrong Predictions: A Mechanism Design Alternative to Individual Calibration [107.15813002403905]
  意思決定者は、しばしば不完全な確率予測に頼る必要がある。 本稿では,予測ユーティリティが実際に取得したユーティリティと一致することを保証する補償機構を提案する。 本研究では、乗客が飛行遅延確率に基づいて、個々の旅行計画をどのように確実に最適化できるかを示すアプリケーションを示す。
  論文  参考訳（メタデータ） (2020-11-15T08:22:39Z)
• Malicious Experts versus the multiplicative weights algorithm in online prediction [85.62472761361107]
  2人の専門家と1人の予測者による予測問題を考える。 専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。 もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
  論文  参考訳（メタデータ） (2020-03-18T20:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。