論文の概要: Distinguishing the Indistinguishable: Human Expertise in Algorithmic
Prediction
- arxiv url: http://arxiv.org/abs/2402.00793v1
- Date: Thu, 1 Feb 2024 17:23:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:12:20.113852
- Title: Distinguishing the Indistinguishable: Human Expertise in Algorithmic
Prediction
- Title(参考訳): アルゴリズム予測における人間的専門知識の識別
- Authors: Rohan Alur, Manish Raghavan, Devavrat Shah
- Abstract要約: アルゴリズムの予測に人間の専門知識を取り入れるための新しい枠組みを導入する。
我々のアプローチは、人間による判断を用いて、どんな予測アルゴリズムにも「同じように見える」入力を区別することに焦点を当てている。
- 参考スコア(独自算出の注目度): 18.09965382119818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel framework for incorporating human expertise into
algorithmic predictions. Our approach focuses on the use of human judgment to
distinguish inputs which `look the same' to any feasible predictive algorithm.
We argue that this framing clarifies the problem of human/AI collaboration in
prediction tasks, as experts often have access to information -- particularly
subjective information -- which is not encoded in the algorithm's training
data. We use this insight to develop a set of principled algorithms for
selectively incorporating human feedback only when it improves the performance
of any feasible predictor. We find empirically that although algorithms often
outperform their human counterparts on average, human judgment can
significantly improve algorithmic predictions on specific instances (which can
be identified ex-ante). In an X-ray classification task, we find that this
subset constitutes nearly 30% of the patient population. Our approach provides
a natural way of uncovering this heterogeneity and thus enabling effective
human-AI collaboration.
- Abstract(参考訳): アルゴリズム予測に人間の専門知識を組み込む新しい枠組みを導入する。
我々のアプローチは、どんな予測アルゴリズムにも「同じように見える」入力を区別するための人間の判断の利用に焦点を当てている。
専門家はアルゴリズムのトレーニングデータにエンコードされていない情報(特に主観的な情報)にアクセスすることが多いため、このフレーミングは予測タスクにおけるヒューマン/aiコラボレーションの問題を明確化する。
この知見を用いて、任意の実行可能な予測器の性能を改善する場合にのみ、人間のフィードバックを選択的に組み込むための一連の原則付きアルゴリズムを開発する。
アルゴリズムは人間よりも平均的に優れていることが多いが、人間の判断は特定のインスタンス(元アンティー)のアルゴリズム予測を大幅に改善できる。
x線分類では、この部分集合が患者の30%近くを占めることが判明した。
このアプローチは、この異質性を明らかにする自然な方法を提供し、効果的な人間とaiのコラボレーションを可能にする。
関連論文リスト
- Learning-Augmented Algorithms with Explicit Predictors [67.02156211760415]
アルゴリズム設計の最近の進歩は、過去のデータと現在のデータから得られた機械学習モデルによる予測の活用方法を示している。
この文脈における以前の研究は、予測器が過去のデータに基づいて事前訓練され、ブラックボックスとして使用されるパラダイムに焦点を当てていた。
本研究では,予測器を解き,アルゴリズムの課題の中で生じる学習問題を統合する。
論文 参考訳(メタデータ) (2024-03-12T08:40:21Z) - Auditing for Human Expertise [13.740812888680614]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳(メタデータ) (2023-06-02T16:15:24Z) - Sample Efficient Learning of Predictors that Complement Humans [5.830619388189559]
我々は、専門家の推論における補完的予測子の学習の利点を初めて理論的に分析する。
我々は、人間の専門家予測の最小限のデータを必要とするアクティブな学習スキームを設計する。
論文 参考訳(メタデータ) (2022-07-19T23:19:25Z) - Doubting AI Predictions: Influence-Driven Second Opinion Recommendation [92.30805227803688]
我々は,補完的な意見を提供する可能性のある専門家を識別する,共通の組織的実践に基づいて,人間とAIのコラボレーションを強化する方法を提案する。
提案手法は、一部の専門家がアルゴリズムによる評価に異を唱えるかどうかを特定することによって、生産的な不一致を活用することを目的としている。
論文 参考訳(メタデータ) (2022-04-29T20:35:07Z) - Learning Predictions for Algorithms with Predictions [49.341241064279714]
予測器を学習するアルゴリズムに対して,一般的な設計手法を導入する。
オンライン学習の手法を応用して、敵のインスタンスに対して学習し、堅牢性と一貫性のあるトレードオフを調整し、新しい統計的保証を得る。
両部マッチング,ページマイグレーション,スキーレンタル,ジョブスケジューリングの手法を解析することにより,学習アルゴリズムの導出におけるアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-02-18T17:25:43Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳(メタデータ) (2022-02-17T18:44:41Z) - Robustification of Online Graph Exploration Methods [59.50307752165016]
我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。
本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-10T10:02:31Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳(メタデータ) (2020-09-09T18:19:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。