論文の概要: Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions

• arxiv url: http://arxiv.org/abs/2507.02087v2
• Date: Mon, 28 Jul 2025 17:26:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:46.836649
• Title: Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions
• Title（参考訳）: 雇用決定におけるLCMの約束と落とし穴の評価
• Authors: Eitan Anzenberg, Arunava Samajpati, Sivasankaran Chandrasekar, Varun Kacholia,
• Abstract要約: 大規模言語モデル(LLM)は、候補スクリーニングの合理化を約束するが、精度とアルゴリズムバイアスに関する深刻な懸念も引き起こす。 いくつかの最先端の基盤的LCMをベンチマークし、ジョブ候補マッチングのためのドメイン固有の採用モデル(Match Score)と比較する。 実験の結果,Match Score は汎用 LLM よりも精度(ROC AUC 0.85 対 0.77 )が優れており,人口集団間でより公平な結果が得られた。
• 参考スコア（独自算出の注目度）: 1.1883838320818292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of large language models (LLMs) in hiring promises to streamline candidate screening, but it also raises serious concerns regarding accuracy and algorithmic bias where sufficient safeguards are not in place. In this work, we benchmark several state-of-the-art foundational LLMs - including models from OpenAI, Anthropic, Google, Meta, and Deepseek, and compare them with our proprietary domain-specific hiring model (Match Score) for job candidate matching. We evaluate each model's predictive accuracy (ROC AUC, Precision-Recall AUC, F1-score) and fairness (impact ratio of cut-off analysis across declared gender, race, and intersectional subgroups). Our experiments on a dataset of roughly 10,000 real-world recent candidate-job pairs show that Match Score outperforms the general-purpose LLMs on accuracy (ROC AUC 0.85 vs 0.77) and achieves significantly more equitable outcomes across demographic groups. Notably, Match Score attains a minimum race-wise impact ratio of 0.957 (near-parity), versus 0.809 or lower for the best LLMs, (0.906 vs 0.773 for the intersectionals, respectively). We discuss why pretraining biases may cause LLMs with insufficient safeguards to propagate societal biases in hiring scenarios, whereas a bespoke supervised model can more effectively mitigate these biases. Our findings highlight the importance of domain-specific modeling and bias auditing when deploying AI in high-stakes domains such as hiring, and caution against relying on off-the-shelf LLMs for such tasks without extensive fairness safeguards. Furthermore, we show with empirical evidence that there shouldn't be a dichotomy between choosing accuracy and fairness in hiring: a well-designed algorithm can achieve both accuracy in hiring and fairness in outcomes.
• Abstract（参考訳）: 大規模言語モデル(LLM)を使用した採用は、候補スクリーニングの合理化を約束する一方で、十分な安全対策が実施されていない場合の正確性やアルゴリズムバイアスに関する深刻な懸念を提起する。 本研究では、OpenAI、Anthropic、Google、Meta、Deepseekのモデルを含む最先端の基盤LPMをベンチマークし、ジョブ候補マッチングのためのドメイン固有の採用モデル(Match Score)と比較する。 我々は,各モデルの予測精度 (ROC AUC, Precision-Recall AUC, F1-score) とフェアネス (性別,人種,交叉サブグループ間のカットオフ分析のインパクト比) を評価した。 その結果,Match Score は精度(ROC AUC 0.85 対 0.77 対 0.77 対)で汎用 LLM よりも優れており,人口集団間でより公平な結果が得られることがわかった。 特に、Match Scoreは、最良LLMでは0.957(近距離)、最短LLMでは0.809以下(交点では0.906対0.773)の最小衝突率を得る。 事前学習のバイアスが,雇用シナリオにおける社会的バイアスを伝播させるのに,安全対策が不十分なLCMを発生させる理由を論じる。 我々の研究は、採用などの高度な領域にAIを配置する際、ドメイン固有のモデリングとバイアス監査の重要性を強調し、広範囲な公正な保護を伴わずに、既製のLLMに頼らないよう注意する。 さらに、我々は、雇用の正確さと公正さの選択に二分するべきではないという実証的な証拠を示し、よく設計されたアルゴリズムは、雇用の正確さと結果の公正さの両方を達成することができることを示した。

関連論文リスト

• Meta-Fair: AI-Assisted Fairness Testing of Large Language Models [2.9632404823837777]
  公正さは人工知能(AI)システムの開発における中核的な原則である。 大規模言語モデル(LLM)におけるフェアネステストへの現在のアプローチは、手動評価、固定テンプレート、決定論、キュレートされたデータセットに依存していることが多い。 本研究は,LLMの公正性をテストするための,新しい自動化手法の基盤となることを目的としている。
  論文  参考訳（メタデータ） (2025-07-03T11:20:59Z)
• Robustly Improving LLM Fairness in Realistic Settings via Interpretability [0.16843915833103415]
  現実的な文脈の詳細が導入されたとき、アンチバイアスプロンプトは失敗する。 企業名や公的キャリアページからの文化記述などの現実的なコンテキストの追加,選択的な雇用制限は,人種的および性別的偏見を著しく引き起こすことが判明した。 我々の内部バイアス緩和は人種や性別に関連する方向を特定し、推論時にアフィンの概念を編集する。
  論文  参考訳（メタデータ） (2025-06-12T17:34:38Z)
• Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs [7.197702136906138]
  モデルフェアネスのきめ細かい評価を可能にするため,不確実性を考慮した評価基準であるUCerFを提案する。 現在のデータセットにおけるデータサイズ、多様性、明快さの問題を観察し、新しいジェンダー占有公正度評価データセットを導入する。 我々は、メトリックとデータセットを使用してベンチマークを確立し、それを10のオープンソースAIシステムの動作評価に適用する。
  論文  参考訳（メタデータ） (2025-05-29T20:45:18Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• Fairness Without Harm: An Influence-Guided Active Sampling Approach [32.173195437797766]
  我々は、モデルの精度に害を与えることなく、グループフェアネスの格差を軽減するモデルを訓練することを目指している。 公正なアクティブな学習アプローチのような現在のデータ取得方法は、通常、アノテートセンシティブな属性を必要とする。 トレーニンググループアノテーションに依存しない抽出可能なアクティブデータサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-20T07:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。