論文の概要: AI evaluators favor job applications written by certain AI models, independent of candidate quality

• arxiv url: http://arxiv.org/abs/2610.41866v1
• Date: Fri, 30 Oct 2026 15:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.785595
• Title: AI evaluators favor job applications written by certain AI models, independent of candidate quality
• Title（参考訳）: AI評価者は、候補者の品質によらず、特定のAIモデルによって書かれたジョブアプリケーションを好む
• Abstract要約: 求職者はカバーレターを書くために大きな言語モデル(LLM)を多用し、雇用主はLLMをスクリーンに配置する。 この全AI設定では、モデルの有効性が候補者の資格とは無関係に雇用結果に影響を及ぼすかどうかを問う。 そこで本研究では,LLMライターエージェント11名とAPIをホストした評価エージェント9名に,ジョブ記述10件,ジョブ毎の候補50件をペアリングする多モデル監査フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Job applicants increasingly use large language models (LLMs) to write cover letters, while employers deploy LLMs to screen them. In this all-AI setting, we ask whether the \emph{choice of model} affects hiring outcomes independently of candidate qualifications. We introduce a multi-model auditing framework pairing eleven LLM writer agents with nine API-hosted evaluator agents across ten job descriptions and fifty candidates per job. Four findings emerge. First, we identify a generative preference hierarchy: a consistent global ranking of writer models by evaluator acceptance, in which locally hosted models are systematically disadvantaged regardless of their license, compounded by self-preference bias where evaluators favour their own outputs. Second, evaluator models differ substantially in how much bias they introduce based on applicants' tool choice, offering actionable guidance for fairer screening design. Third, this hierarchy has measurable competitive consequences: in the most adverse pairing, approximately two (1.8) out of twenty-five qualified candidates are filtered out purely due to model mismatch. Fourth, a common mechanism explains the patterns above: writer preference and self-preference trace to a combination of how much each writer leans on specific stylistic cues and how strongly evaluators, often unanimously, reward or penalise those same cues. A further check finds little evidence that an unmeasured "writer fingerprint" remains once these same features are accounted for. We discuss implications for algorithmic fairness in employment, regulation of AI-assisted screening, and the design of auditing frameworks that can be reapplied as the model landscape evolves.
• Abstract（参考訳）: 求職者はカバーレターを書くために大きな言語モデル(LLM)を多用し、雇用主はLLMをスクリーンに配置する。 この全AI設定では、候補者の資格とは無関係に「モデル選択」が雇用成果に影響を及ぼすかどうかを問う。 そこで本研究では,LLMライターエージェント11名とAPIをホストした評価エージェント9名に,ジョブ記述10件,ジョブ毎の候補50件をペアリングする多モデル監査フレームワークを提案する。 4つの発見がある。 まず,評価対象が自身のアウトプットを好む自己選好バイアスによって構成された,ローカルにホストされたモデルがライセンスによらず体系的に不利な,評価対象の受け入れによる著者モデルの一貫したグローバルなランキングを同定する。 第二に、評価モデルはかなり異なるのは、応募者のツールの選択に基づいて、より公平なスクリーニング設計のための実用的なガイダンスを提供するバイアスの量である。 第3に、この階層は、最も悪いペアリングにおいて、25の適格候補のうち約2(1.8)は、モデルミスマッチによって純粋にフィルタリングされる。 著者の好みと自己選好は、それぞれの著者が特定のスタイル的手がかりにどれだけ依存しているかと、いかに強い評価者、しばしば満場一致で、同じ手がかりに報酬や罰を与えるかの組み合わせを辿る。 さらに、同じ特徴が説明されると、未測定の「文字指紋」が残っているという証拠はほとんど見つからない。 本稿では,雇用におけるアルゴリズムの公正性,AI支援スクリーニングの規制,モデル景観の発達とともに再適用可能な監査フレームワークの設計について論じる。

関連論文リスト

• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• Self-Generated Text Recognition: Quality Heuristics, Cross-Task Transfer, and Downstream Bias in LLM Evaluation [6.648307320049219]
  自己生成テキスト認識(SGTR)は、評価者やモニターに依存するAIセーフガードにリスクをもたらす。 6つのプレゼンテーション運用と4つのタスクドメイン運用にまたがる13-21モデルの評価を行った。
  論文  参考訳（メタデータ） (2026-07-07T12:04:51Z)
• Agentic AI for Human Resources: LLM-Driven Candidate Assessment [4.271562161453985]
  本稿では,Large Language Models (LLMs) を用いて,採用における候補評価を自動化するモジュール型・解釈可能なフレームワークを提案する。 このシステムは、ジョブ記述、CV、面接書、人事フィードバックなど様々なソースを統合し、専門家の判断を反映した構造化された評価レポートを生成する。 このフレームワークは、詳細なアセスメントレポート、候補比較、および、透明で監査可能で、実際の雇用に適したランク付けされたレコメンデーションを出力する。
  論文  参考訳（メタデータ） (2026-03-17T21:32:08Z)
• Pro-AI Bias in Large Language Models [17.86909605285373]
  大規模言語モデル(LLM)は、複数のドメインにわたる意思決定サポートにますます採用されている。 これらのモデルが人工知能(AI)自体に有利な体系的優先バイアスを示すかどうかを検討する。
  論文  参考訳（メタデータ） (2026-01-20T09:03:57Z)
• How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
  我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。 エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。 私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
  論文  参考訳（メタデータ） (2025-10-10T19:04:28Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• Evaluating Large Language Models as Expert Annotators [17.06186816803593]
  本稿では,トップパフォーマンス言語モデルが,人間の専門家アノテータの直接的な代替として機能するかどうかを考察する。 我々は、金融、バイオメディシン、法という3つの専門分野にまたがる個別のLCMとマルチエージェントのアプローチを評価した。 実験結果から,推定時間的手法を具備した個々のLSMは,限界あるいは負の利得しか示さないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-11T10:19:10Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。