論文の概要: Integrating Expert Judgment and Algorithmic Decision Making: An Indistinguishability Framework
- arxiv url: http://arxiv.org/abs/2410.08783v1
- Date: Thu, 17 Oct 2024 21:13:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 22:05:43.548401
- Title: Integrating Expert Judgment and Algorithmic Decision Making: An Indistinguishability Framework
- Title（参考訳）: 専門家の判断とアルゴリズムによる意思決定の統合:識別不能なフレームワーク
- Authors: Rohan Alur, Loren Laine, Darrick K. Li, Dennis Shung, Manish Raghavan, Devavrat Shah,
- Abstract要約: 予測と意思決定タスクにおける人間とAIの協調のための新しい枠組みを導入する。
我々の手法は人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
- 参考スコア（独自算出の注目度）: 12.967730957018688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel framework for human-AI collaboration in prediction and decision tasks. Our approach leverages human judgment to distinguish inputs which are algorithmically indistinguishable, or "look the same" to any feasible predictive algorithm. We argue that this framing clarifies the problem of human-AI collaboration in prediction and decision tasks, as experts often form judgments by drawing on information which is not encoded in an algorithm's training data. Algorithmic indistinguishability yields a natural test for assessing whether experts incorporate this kind of "side information", and further provides a simple but principled method for selectively incorporating human feedback into algorithmic predictions. We show that this method provably improves the performance of any feasible algorithmic predictor and precisely quantify this improvement. We demonstrate the utility of our framework in a case study of emergency room triage decisions, where we find that although algorithmic risk scores are highly competitive with physicians, there is strong evidence that physician judgments provide signal which could not be replicated by any predictive algorithm. This insight yields a range of natural decision rules which leverage the complementary strengths of human experts and predictive algorithms.
- Abstract（参考訳）: 予測と意思決定タスクにおける人間とAIの協調のための新しい枠組みを導入する。
我々の手法は人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
このフレーミングは、専門家がアルゴリズムのトレーニングデータにエンコードされていない情報を描画することによって判断を下すことがしばしばあるので、予測や決定タスクにおける人間とAIの協調の問題を明確にするものである、と我々は主張する。
アルゴリズム的不明瞭性は、専門家がこの種の「側的情報」を取り入れているかどうかを評価するための自然なテストをもたらし、さらに、人間のフィードバックをアルゴリズムの予測に選択的に組み込む単純な方法を提供する。
提案手法は,任意の実現可能なアルゴリズム予測器の性能を確実に向上し,その精度を定量的に評価する。
緊急室トリアージ決定のケーススタディにおいて,我々は,アルゴリズム的リスクスコアが医師と高い競争力を持つにもかかわらず,医師の判断が予測アルゴリズムでは再現できない信号を提供するという強い証拠があることを見出した。
この洞察は、人間の専門家と予測アルゴリズムの相補的な強みを利用する、様々な自然な決定ルールをもたらす。
関連論文リスト
- Designing Algorithmic Recommendations to Achieve Human-AI Complementarity [2.4247752614854203]
人間の意思決定を支援するレコメンデーションアルゴリズムの設計を形式化する。
我々は、潜在的なアウトカムフレームワークを使用して、ヒトの意思決定者による二元的治療選択に対するレコメンデーションの効果をモデル化する。
機械学習で実装可能な最小限の推奨アルゴリズムを導出する。
論文 参考訳（メタデータ） (2024-05-02T17:15:30Z) - Human Expertise in Algorithmic Prediction [16.104330706951004]
アルゴリズムの予測に人間の専門知識を取り入れるための新しい枠組みを導入する。
我々のアプローチは、人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
論文 参考訳（メタデータ） (2024-02-01T17:23:54Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。
対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
論文 参考訳（メタデータ） (2023-06-19T16:00:48Z) - Auditing for Human Expertise [12.967730957018688]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳（メタデータ） (2023-06-02T16:15:24Z) - Algorithmic Decision-Making Safeguarded by Human Knowledge [8.482569811904028]
我々は人的知識によるアルゴリズム決定の強化について研究する。
アルゴリズム決定が大規模データに対して最適である場合、非データ駆動のヒューマンガードレールは、通常、何の利益も与えないことを示す。
これらのケースでは、十分なデータであっても、人間の知識による増強は、アルゴリズムによる決定の性能を向上させることができる。
論文 参考訳（メタデータ） (2022-11-20T17:13:32Z) - Algorithmic Assistance with Recommendation-Dependent Preferences [2.864550757598007]
選択に影響を及ぼすアルゴリズムレコメンデーションの効果と設計について考察する。
我々は、レコメンデーションに依存した選好が、意思決定者がレコメンデーションに過度に反応する非効率性を生み出すことを示す。
論文 参考訳（メタデータ） (2022-08-16T09:24:47Z) - Doubting AI Predictions: Influence-Driven Second Opinion Recommendation [92.30805227803688]
我々は,補完的な意見を提供する可能性のある専門家を識別する,共通の組織的実践に基づいて,人間とAIのコラボレーションを強化する方法を提案する。
提案手法は、一部の専門家がアルゴリズムによる評価に異を唱えるかどうかを特定することによって、生産的な不一致を活用することを目的としている。
論文 参考訳（メタデータ） (2022-04-29T20:35:07Z) - Robustification of Online Graph Exploration Methods [59.50307752165016]
我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。
本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-10T10:02:31Z) - A black-box adversarial attack for poisoning clustering [78.19784577498031]
本稿では,クラスタリングアルゴリズムのロバスト性をテストするために,ブラックボックス対逆攻撃法を提案する。
我々の攻撃は、SVM、ランダムフォレスト、ニューラルネットワークなどの教師付きアルゴリズムに対しても転送可能であることを示す。
論文 参考訳（メタデータ） (2020-09-09T18:19:31Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。