論文の概要: Learning to Defer with Limited Expert Predictions
- arxiv url: http://arxiv.org/abs/2304.07306v1
- Date: Fri, 14 Apr 2023 09:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 19:39:22.844326
- Title: Learning to Defer with Limited Expert Predictions
- Title（参考訳）: 限られた専門家予測でディフェンダーを学ぶ
- Authors: Patrick Hemmer, Lukas Thede, Michael V\"ossing, Johannes Jakubik,
Niklas K\"uhl
- Abstract要約: 本稿では,アルゴリズムを遅延させる学習訓練に必要な専門家予測数を3段階に短縮する手法を提案する。
実験の結果,この手法により,人間専門家の予測が最小限に抑えられたアルゴリズムを,様々な学習の訓練で遅延させることができることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent research suggests that combining AI models with a human expert can
exceed the performance of either alone. The combination of their capabilities
is often realized by learning to defer algorithms that enable the AI to learn
to decide whether to make a prediction for a particular instance or defer it to
the human expert. However, to accurately learn which instances should be
deferred to the human expert, a large number of expert predictions that
accurately reflect the expert's capabilities are required -- in addition to the
ground truth labels needed to train the AI. This requirement shared by many
learning to defer algorithms hinders their adoption in scenarios where the
responsible expert regularly changes or where acquiring a sufficient number of
expert predictions is costly. In this paper, we propose a three-step approach
to reduce the number of expert predictions required to train learning to defer
algorithms. It encompasses (1) the training of an embedding model with ground
truth labels to generate feature representations that serve as a basis for (2)
the training of an expertise predictor model to approximate the expert's
capabilities. (3) The expertise predictor generates artificial expert
predictions for instances not yet labeled by the expert, which are required by
the learning to defer algorithms. We evaluate our approach on two public
datasets. One with "synthetically" generated human experts and another from the
medical domain containing real-world radiologists' predictions. Our experiments
show that the approach allows the training of various learning to defer
algorithms with a minimal number of human expert predictions. Furthermore, we
demonstrate that even a small number of expert predictions per class is
sufficient for these algorithms to exceed the performance the AI and the human
expert can achieve individually.
- Abstract（参考訳）: 最近の研究は、AIモデルと人間の専門家を組み合わせることは、どちらか一方のパフォーマンスを上回る可能性があることを示唆している。
それらの能力の組み合わせは、aiが特定のインスタンスの予測を行うか、あるいはそれを人間の専門家に推論するかを判断できるアルゴリズムを推論する学習によってしばしば実現される。
しかし、人間のエキスパートがどのインスタンスを推論すべきかを正確に知るには、専門家の能力を正確に反映する多くの専門家の予測が必要である。
アルゴリズムを推論するために多くの学習によって共有されるこの要件は、責任ある専門家が定期的に変化するシナリオや、十分な数の専門家の予測を得るのにコストがかかるシナリオで採用を妨げる。
本稿では,アルゴリズムを推論するために学習を訓練するために必要な専門家の予測数を減らすための3段階アプローチを提案する。
1) 専門知識予測モデルの訓練の基礎となる特徴表現を生成するため,(1) 基底真理ラベル付き埋め込みモデルの訓練,(2) 専門家の能力を近似する専門知識予測モデルの訓練。
3) 専門的予測器は,まだ専門家がラベル付けしていないインスタンスに対して,アルゴリズムを遅延させる学習に必要な,人工的な専門家予測を生成する。
2つの公開データセットに対するアプローチを評価する。
一つは「合成」の専門家で、もう一つは実世界の放射線学者の予測を含む医療分野の専門家である。
実験の結果,この手法は,人間の専門家による予測を最小限に抑えることで,アルゴリズムを推論できることがわかった。
さらに、クラス毎の少数の専門家予測でさえ、これらのアルゴリズムがAIと人間の専門家が個別に達成できる性能を超えるのに十分であることを示す。
関連論文リスト
- Defining Expertise: Applications to Treatment Effect Estimation [58.7977683502207]
専門知識(特にドメインの意思決定者が持つであろう専門知識の種類)は、治療効果の推定方法の設計と選択において有益である、と我々は主張する。
予測的および予測的2種類の専門知識を定義し,(i)ドメインにおける顕著な専門知識のタイプが治療効果推定における異なる手法の性能に大きく影響し,(ii)データセットに存在する専門知識のタイプを予測することが可能であることを実証的に示す。
論文 参考訳（メタデータ） (2024-03-01T17:30:49Z) - Auditing for Human Expertise [12.967730957018688]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳（メタデータ） (2023-06-02T16:15:24Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳（メタデータ） (2023-03-03T02:56:05Z) - Sample Efficient Learning of Predictors that Complement Humans [5.830619388189559]
我々は、専門家の推論における補完的予測子の学習の利点を初めて理論的に分析する。
我々は、人間の専門家予測の最小限のデータを必要とするアクティブな学習スキームを設計する。
論文 参考訳（メタデータ） (2022-07-19T23:19:25Z) - Forming Effective Human-AI Teams: Building Machine Learning Models that
Complement the Capabilities of Multiple Experts [0.0]
複数の専門家の能力を補うために分類モデルを訓練する手法を提案する。
提案手法を,複数の放射線学者による「合成」の専門家と実世界の医療データセットを用いた公開データセットの実験で評価した。
論文 参考訳（メタデータ） (2022-06-16T06:42:10Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Doubting AI Predictions: Influence-Driven Second Opinion Recommendation [92.30805227803688]
我々は,補完的な意見を提供する可能性のある専門家を識別する,共通の組織的実践に基づいて,人間とAIのコラボレーションを強化する方法を提案する。
提案手法は、一部の専門家がアルゴリズムによる評価に異を唱えるかどうかを特定することによって、生産的な不一致を活用することを目的としている。
論文 参考訳（メタデータ） (2022-04-29T20:35:07Z) - Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。
この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。
決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
論文 参考訳（メタデータ） (2021-02-23T08:07:22Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。