論文の概要: Human Expertise in Algorithmic Prediction
- arxiv url: http://arxiv.org/abs/2402.00793v3
- Date: Wed, 30 Oct 2024 15:45:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:23:56.645197
- Title: Human Expertise in Algorithmic Prediction
- Title（参考訳）: アルゴリズム予測における人間の専門知識
- Authors: Rohan Alur, Manish Raghavan, Devavrat Shah,
- Abstract要約: アルゴリズムの予測に人間の専門知識を取り入れるための新しい枠組みを導入する。
我々のアプローチは、人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
- 参考スコア（独自算出の注目度）: 16.104330706951004
- License:
- Abstract: We introduce a novel framework for incorporating human expertise into algorithmic predictions. Our approach leverages human judgment to distinguish inputs which are algorithmically indistinguishable, or "look the same" to predictive algorithms. We argue that this framing clarifies the problem of human-AI collaboration in prediction tasks, as experts often form judgments by drawing on information which is not encoded in an algorithm's training data. Algorithmic indistinguishability yields a natural test for assessing whether experts incorporate this kind of "side information", and further provides a simple but principled method for selectively incorporating human feedback into algorithmic predictions. We show that this method provably improves the performance of any feasible algorithmic predictor and precisely quantify this improvement. We find empirically that although algorithms often outperform their human counterparts on average, human judgment can improve algorithmic predictions on specific instances (which can be identified ex-ante). In an X-ray classification task, we find that this subset constitutes nearly $30\%$ of the patient population. Our approach provides a natural way of uncovering this heterogeneity and thus enabling effective human-AI collaboration.
- Abstract（参考訳）: アルゴリズムの予測に人間の専門知識を取り入れるための新しい枠組みを導入する。
我々のアプローチは、人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
このフレーミングは、アルゴリズムのトレーニングデータにエンコードされていない情報に基づいて、専門家が判断を下すことがしばしばあるので、予測タスクにおける人間とAIの協調の問題を明確にするものである、と我々は主張する。
アルゴリズム的不明瞭性は、専門家がこの種の「側的情報」を取り入れているかどうかを評価するための自然なテストをもたらし、さらに、人間のフィードバックをアルゴリズムの予測に選択的に組み込む単純な方法を提供する。
提案手法は,任意のアルゴリズム予測器の性能を確実に向上し,その精度を定量的に評価する。
アルゴリズムは人間よりも平均的に優れていることが多いが、人間の判断は特定のインスタンス(元アンティーと同一視できる)のアルゴリズム予測を改善することができる。
X線分類タスクでは、このサブセットが患者集団の約30 %$を構成していることがわかった。
我々のアプローチは、この異種性を明らかにする自然な方法を提供し、それによって効果的な人間とAIのコラボレーションを可能にします。
関連論文リスト
- Integrating Expert Judgment and Algorithmic Decision Making: An Indistinguishability Framework [12.967730957018688]
予測と意思決定タスクにおける人間とAIの協調のための新しい枠組みを導入する。
我々の手法は人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
論文 参考訳（メタデータ） (2024-10-11T13:03:53Z) - Collaborative Intelligence in Sequential Experiments: A Human-in-the-Loop Framework for Drug Discovery [13.438499600701578]
本稿では,創薬のシーケンシャルな実験を行うためのHuman-in-the-loopフレームワークを提案する。
提案アルゴリズムは実験データを処理し、有望な分子と、その性能を人間の専門家に改善できる分子の両方を推奨する。
人間の専門家は、これらの推奨事項とドメインの専門知識に基づいて、最終的な意思決定権限を保持します。
論文 参考訳（メタデータ） (2024-05-07T02:03:07Z) - Designing Algorithmic Recommendations to Achieve Human-AI Complementarity [2.4247752614854203]
人間の意思決定を支援するレコメンデーションアルゴリズムの設計を形式化する。
我々は、潜在的なアウトカムフレームワークを使用して、ヒトの意思決定者による二元的治療選択に対するレコメンデーションの効果をモデル化する。
機械学習で実装可能な最小限の推奨アルゴリズムを導出する。
論文 参考訳（メタデータ） (2024-05-02T17:15:30Z) - Learning-Augmented Algorithms with Explicit Predictors [67.02156211760415]
アルゴリズム設計の最近の進歩は、過去のデータと現在のデータから得られた機械学習モデルによる予測の活用方法を示している。
この文脈における以前の研究は、予測器が過去のデータに基づいて事前訓練され、ブラックボックスとして使用されるパラダイムに焦点を当てていた。
本研究では,予測器を解き,アルゴリズムの課題の中で生じる学習問題を統合する。
論文 参考訳（メタデータ） (2024-03-12T08:40:21Z) - Auditing for Human Expertise [13.740812888680614]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳（メタデータ） (2023-06-02T16:15:24Z) - Learning Predictions for Algorithms with Predictions [49.341241064279714]
予測器を学習するアルゴリズムに対して,一般的な設計手法を導入する。
オンライン学習の手法を応用して、敵のインスタンスに対して学習し、堅牢性と一貫性のあるトレードオフを調整し、新しい統計的保証を得る。
両部マッチング,ページマイグレーション,スキーレンタル,ジョブスケジューリングの手法を解析することにより,学習アルゴリズムの導出におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-18T17:25:43Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳（メタデータ） (2022-02-17T18:44:41Z) - Voting of predictive models for clinical outcomes: consensus of
algorithms for the early prediction of sepsis from clinical data and an
analysis of the PhysioNet/Computing in Cardiology Challenge 2019 [2.0559497209595823]
臨床データから敗血症の早期予測を行うために,70個の個別アルゴリズムからアンサンブルアルゴリズムを構築する問題を考える。
このアンサンブルアルゴリズムは,特に隠れテストセットにおいて,異なるアルゴリズムよりも優れることがわかった。
論文 参考訳（メタデータ） (2020-12-20T20:12:49Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳（メタデータ） (2020-09-09T18:19:31Z) - Towards causal benchmarking of bias in face analysis algorithms [54.19499274513654]
顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。
提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。
性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-07-13T17:10:34Z) - Run2Survive: A Decision-theoretic Approach to Algorithm Selection based
on Survival Analysis [75.64261155172856]
生存分析(SA)は、自然に検閲されたデータをサポートし、アルゴリズムランタイムの分散モデルを学習するためにそのようなデータを使用する適切な方法を提供する。
我々は、アルゴリズム選択に対する洗練された決定論的アプローチの基礎として、そのようなモデルを活用し、Run2Surviveを疑う。
標準ベンチマークASlibによる広範な実験では、我々のアプローチは競争力が高く、多くの場合、最先端のASアプローチよりも優れていることが示されている。
論文 参考訳（メタデータ） (2020-07-06T15:20:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。