論文の概要: Evaluating AI Recruitment Sourcing Tools by Human Preference
- arxiv url: http://arxiv.org/abs/2504.02463v1
- Date: Thu, 03 Apr 2025 10:33:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-04 12:57:18.748399
- Title: Evaluating AI Recruitment Sourcing Tools by Human Preference
- Title（参考訳）: 人選好によるAIリクルートソーシングツールの評価
- Authors: Vladimir Slaykovskiy, Maksim Zvegintsev, Yury Sakhonchyk, Hrachik Ajamian,
- Abstract要約: 本研究では,AI駆動型採用ソーシングツールの性能評価を目的としたベンチマーク手法を提案する。
私たちはデータセットを作成して、主要なAIベースのソリューションであるLinkedIn Recruiterと当社独自のシステムであるPearch.aiによって生成された検索結果の比較分析を実行しました。
我々は、AIに基づく評価と人間の判断を強く関連付け、高度なAI技術が人材獲得の有効性を大幅に向上させる可能性を強調した。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This study introduces a benchmarking methodology designed to evaluate the performance of AI-driven recruitment sourcing tools. We created and utilized a dataset to perform a comparative analysis of search results generated by leading AI-based solutions, LinkedIn Recruiter, and our proprietary system, Pearch.ai. Human experts assessed the relevance of the returned candidates, and an Elo rating system was applied to quantitatively measure each tool's comparative performance. Our findings indicate that AI-driven recruitment sourcing tools consistently outperform LinkedIn Recruiter in candidate relevance, with Pearch.ai achieving the highest performance scores. Furthermore, we found a strong alignment between AI-based evaluations and human judgments, highlighting the potential for advanced AI technologies to substantially enhance talent acquisition effectiveness. Code and supporting data are publicly available at https://github.com/vslaykovsky/ai-sourcing-benchmark
- Abstract（参考訳）: 本研究では,AI駆動型採用ソーシングツールの性能評価を目的としたベンチマーク手法を提案する。
私たちはデータセットを作成して、主要なAIベースのソリューションであるLinkedIn Recruiterと当社独自のシステムであるPearch.aiによって生成された検索結果の比較分析を実行しました。
人間の専門家は、返却された候補者の関連性を評価し、それぞれのツールの比較性能を定量的に測定するためにエロ評価システムを適用した。
以上の結果から、AIによる採用ソーシングツールがLinkedIn Recruiterを一貫して上回り、Pearch.aiが最高パフォーマンススコアを達成したことが示唆された。
さらに,AIに基づく評価と人的判断の相関が強く,高度なAI技術が人材獲得の有効性を大幅に向上させる可能性を強調した。
コードとサポートデータはhttps://github.com/vslaykovsky/ai-sourcing-benchmarkで公開されている。
関連論文リスト
- Validity Arguments For Constructed Response Scoring Using Generative Artificial Intelligence Applications [0.0]
ジェネレーティブAIは、従来のAIスコアリングにおける手作り機能に必要な労力を減らすため、特に魅力的である。
我々は,人間の評価,特徴に基づく自然言語処理AIスコアリングエンジン,生成AIを用いたスコアリングシステムに必要な妥当性証拠を比較した。
論文 参考訳（メタデータ） (2025-01-04T16:59:29Z) - How Performance Pressure Influences AI-Assisted Decision Making [57.53469908423318]
我々は、プレッシャーと説明可能なAI(XAI)技術がAIアドバイステイク行動とどのように相互作用するかを示す。
我々の結果は、圧力とXAIの異なる組み合わせで複雑な相互作用効果を示し、AIアドバイスの行動を改善するか、悪化させるかのどちらかを示す。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。
実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
論文 参考訳（メタデータ） (2024-09-22T09:43:27Z) - AI Data Readiness Inspector (AIDRIN) for Quantitative Assessment of Data Readiness for AI [0.8553254686016967]
ガベージ・イン・ガベージ・アウト(Garbage in Garbage Out)は、人工知能(AI)など、様々な分野のコンピュータ科学者によって広く合意された引用である。
AIのデータ"可読性"を評価するための標準的な方法やフレームワークはありません。
AIDRINは、文献で利用可能な幅広い準備性次元をカバーするフレームワークである。
論文 参考訳（メタデータ） (2024-06-27T15:26:39Z) - Fairness in AI-Driven Recruitment: Challenges, Metrics, Methods, and Future Directions [0.0]
ビッグデータと機械学習は、従来の採用プロセスに急激な変革をもたらした。
AIベースの採用の頻度を考えると、人間の偏見がこれらのシステムによって決定される可能性があるという懸念が高まっている。
本稿では、AIによる採用におけるバイアスの種類を議論することで、この新興分野の包括的概要を提供する。
論文 参考訳（メタデータ） (2024-05-30T05:25:14Z) - Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。
この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
論文 参考訳（メタデータ） (2024-03-17T07:34:12Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2022-08-16T21:39:58Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳（メタデータ） (2020-04-27T19:06:28Z) - Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。
我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
論文 参考訳（メタデータ） (2020-04-15T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。