論文の概要: EHR-Bench: A Chinese Multi-Task Benchmark for Recruitment AI

• arxiv url: http://arxiv.org/abs/2610.16689v1
• Date: Mon, 12 Oct 2026 12:27:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:54:05.276774
• Title: EHR-Bench: A Chinese Multi-Task Benchmark for Recruitment AI
• Title（参考訳）: EHR-Bench:リクルートAIのための中国のマルチタスクベンチマーク
• Abstract要約: EHR-Benchは、6つの機能ファミリーと5つの採用シナリオにまたがる12のタスクからなるオープンな中国のベンチマークである。 公開資料から8,336のタスクインスタンスを構築し,ソース・アウェアの専門家によるレビューと文書化を行った。 緊密にランク付けされたモデルは、異なるタスク強度を示し、パフォーマンスは入力元、参照エビデンス、候補プールによって異なる。
• 参考スコア（独自算出の注目度）: 31.22856190327909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recruitment applications span diverse operations, from drafting job descriptions and interpreting queries to organizing profiles, assessing fit, and recommending candidates and jobs. Systematic LLM evaluation therefore requires task coverage that reflects this range of business needs. We introduce EHR-Bench, an open Chinese benchmark comprising twelve tasks across six capability families and five recruitment scenarios. The tasks cover generation, extraction, classification, retrieval, semantic similarity, and reciprocal ranking within one evaluation framework. An internal recruitment dataset guides task definitions, the occupation taxonomy and sampling targets, output requirements, and scoring protocols. Following these specifications, we construct 8,336 task instances from public materials and controlled augmentation, with source-aware expert review and documented provenance. We evaluate twelve LLMs through task-level, capability-level, and aggregate comparisons. Closely ranked models exhibit distinct task strengths, and performance varies across input sources, reference evidence, and candidate pools. Five shared models retain the same observed Overall ordering on a private operational reference, with variation in capability and task correspondence. EHR-Bench provides a reproducible foundation for systematic model assessment, task-specific model selection, and further research on LLMs for recruitment. The project repository is available at https://github.com/EhrBench/EHR-Bench.
• Abstract（参考訳）: リクルートアプリケーションは、ジョブ記述の起草、クエリの解釈、プロファイルの整理、適合性の評価、候補者とジョブの推薦など、さまざまな操作にまたがる。 したがって、体系的なLCM評価には、このようなビジネスニーズを反映したタスクカバレッジが必要です。 EHR-Benchは、6つの機能ファミリーと5つの採用シナリオにまたがる12のタスクからなるオープンな中国のベンチマークである。 タスクは1つの評価フレームワーク内の生成、抽出、分類、検索、意味的類似性、相互ランキングをカバーしている。 内部採用データセットは、タスク定義、職業分類、サンプリングターゲット、出力要求、スコアリングプロトコルをガイドする。 これらの仕様に従うと、公開資料から8,336のタスクインスタンスを構築し、ソース・アウェアの専門家によるレビューと文書化による拡張を制御する。 タスクレベル,能力レベル,集約比較により,12個のLCMを評価した。 緊密にランク付けされたモデルは、異なるタスク強度を示し、パフォーマンスは入力元、参照エビデンス、候補プールによって異なる。 5つの共有モデルは、プライベートな操作参照で観測された全体的な順序を、能力とタスク対応のバリエーションとともに保持する。 EHR-Benchは、体系的なモデルアセスメント、タスク固有のモデル選択、そして採用のためのLLMの研究のための再現可能な基盤を提供する。 プロジェクトリポジトリはhttps://github.com/EhrBench/EHR-Bench.comで公開されている。

関連論文リスト

• OOPMAS: Object-Oriented Multi-Agent Systems for Query-Level Workflow Generation [55.27793983826255]
  OOPMASは、エージェントセットと調整ワークフローの両方を個々のクエリの粒度で生成する、トレーニング不要のフレームワークである。 コード、数学、QAにまたがるクエリの混合タスクベンチマークでは、OOPMASは89.6%の精度を達成し、最強のベースラインを18.1ポイント上回っている。
  論文  参考訳（メタデータ） (2026-10-06T05:31:29Z)
• Large Language Models for Requirements Engineering: A Cross-Task Empirical Evaluation [2.8202756171824315]
  大規模言語モデル(LLM)は多くの要求工学(RE)活動をサポートすることができる。 既存のエビデンスは、タスク、アーティファクトタイプ、評価設定で断片化されます。 本研究は,5つのRE関連活動におけるLSMを評価するための2つの相補的な研究である。
  論文  参考訳（メタデータ） (2026-08-21T18:09:48Z)
• Design and Report Benchmarks for Knowledge Work [5.13982016225783]
  本稿では,評価結果に付随する作業クレームを,ベンチマークタスクがどのように表現するかを明確にするための3段階のアプローチを提案する。 評価中の作業アクティビティを一般的なベンチマークタスクと区別するために、O*NETの作業タスクデータベースから18の作業アクティビティの在庫を抽出する。
  論文  参考訳（メタデータ） (2026-05-22T06:03:01Z)
• Agentic AI for Human Resources: LLM-Driven Candidate Assessment [4.271562161453985]
  本稿では,Large Language Models (LLMs) を用いて,採用における候補評価を自動化するモジュール型・解釈可能なフレームワークを提案する。 このシステムは、ジョブ記述、CV、面接書、人事フィードバックなど様々なソースを統合し、専門家の判断を反映した構造化された評価レポートを生成する。 このフレームワークは、詳細なアセスメントレポート、候補比較、および、透明で監査可能で、実際の雇用に適したランク付けされたレコメンデーションを出力する。
  論文  参考訳（メタデータ） (2026-03-17T21:32:08Z)
• AI Hiring with LLMs: A Context-Aware and Explainable Multi-Agent Framework for Resume Screening [12.845918958645676]
  大規模言語モデル(LLM)を用いたスクリーニング再開のためのマルチエージェントフレームワークを提案する。 フレームワークは、履歴抽出器、評価器、要約器、スコアフォーマッターを含む4つのコアエージェントから構成される。 この動的適応は、パーソナライズされた採用を可能にし、AI自動化と人材獲得のギャップを埋める。
  論文  参考訳（メタデータ） (2025-04-01T12:56:39Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。