論文の概要: Does Algorithmic Uncertainty Sway Human Experts? Evidence from a Field Experiment in Selective College Admissions

• arxiv url: http://arxiv.org/abs/2602.00241v1
• Date: Fri, 30 Jan 2026 19:03:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-02-03 14:21:10.438361
• Title: Does Algorithmic Uncertainty Sway Human Experts? Evidence from a Field Experiment in Selective College Admissions
• Title（参考訳）: アルゴリズムの不確かさは人間のエキスパートを揺さぶる? : 選抜大学受験生のフィールド実験から
• Authors: Hansol Lee, AJ Alvero, René F. Kizilcec, Thorsten Joachims,
• Abstract要約: 我々は、アルゴリズム依存を、より好ましくないアルゴリズム予測が決定者へ提示されるか否かによって決定結果が依存する範囲として定義する。 より好ましいスコアを提示することは,モデルに大きく相違がある場合でも,平均的な入場確率が有意に上昇しないことを示す。 これらの結果は、この専門家では、人間の意思決定はアルゴリズム予測の任意のバリエーションとほとんど変わらぬものであることを示唆している。
• 参考スコア（独自算出の注目度）: 16.423278179819288
• License:
• Abstract: Algorithmic predictions are inherently uncertain: even models with similar aggregate accuracy can produce different predictions for the same individual, raising concerns that high-stakes decisions may become sensitive to arbitrary modeling choices. In this paper, we define algorithmic reliance as the extent to which a decision outcome depends on whether a more favorable versus less favorable algorithmic prediction is presented to the decision-maker. We estimate this in a randomized field experiment (n=19,545) embedded in a selective U.S. college admissions cycle, in which admissions officers reviewed each application alongside an algorithmic score while we randomly varied whether the score came from one of two similarly accurate prediction models. Although the two models performed similarly in aggregate, they frequently assigned different scores to the same applicant, creating exogenous variation in the score shown. Surprisingly, we find little evidence of algorithmic reliance: presenting a more favorable score does not meaningfully increase an applicant's probability of admission on average, even when the models disagree substantially. These findings suggest that, in this expert, high-stakes setting, human decision-making is largely invariant to arbitrary variation in algorithmic predictions, underscoring the role of professional discretion and institutional context in mediating the downstream effects of algorithmic uncertainty.
• Abstract（参考訳）: アルゴリズムの予測は本質的に不確実である: 類似の集約精度を持つモデルでさえ、同一個人に対して異なる予測を生成でき、高い精度の決定が任意のモデリング選択に敏感になるのではないかという懸念を提起する。 本稿では、アルゴリズム依存を、決定結果がより好ましいか、より好ましいアルゴリズム予測が決定者に提示されるかに依存する範囲として定義する。 我々はこれを、米国立大学入試サイクルに埋め込まれたランダムフィールド実験(n=19,545)で推定し、入試官がアルゴリズムのスコアとともに各申請をレビューし、そのスコアが2つの同様の精度の予測モデルのうちの1つに由来するかどうかをランダムに変化させた。 2つのモデルも同様に集計を行ったが、彼らはしばしば異なるスコアを同じ応募者に割り当て、示されるスコアに外因性の変化を生み出した。 驚くべきことに、アルゴリズム依存の証拠はほとんど見つからない:より好ましいスコアを提示することは、たとえモデルに大きく相違があったとしても、平均的に応募者の入場確率を有意に増加させるものではない。 これらの結果から, アルゴリズムの不確実性の下流効果を媒介する職業的判断と制度的文脈の役割を, アルゴリズム的予測の任意のバリエーションとは大きく異なることが示唆された。

関連論文リスト

• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [6.925076885159747]
  本稿では,予測アルゴリズムの堅牢な設計と評価のためのフレームワークを提案する。 様々な不確定な仮定が、所得グループ間での信用リスク予測と公平性評価に大きく影響していることが示される。
  論文  参考訳（メタデータ） (2022-12-19T20:41:44Z)
• Understanding Prediction Discrepancies in Machine Learning Classifiers [4.940323406667406]
  本稿では,同一データ上で訓練された最高の性能モデル群における予測誤差を分析することを提案する。 モデルに依存しないアルゴリズムであるDIGは,局所的に不一致を捉え,説明するために提案される。
  論文  参考訳（メタデータ） (2021-04-12T13:42:50Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。