論文の概要: Grading the Unannotated: Insights from the WorkRB Skill Extraction Challenge at RecSys-HR 2026
- arxiv url: http://arxiv.org/abs/2611.03525v1
- Date: Mon, 02 Nov 2026 17:57:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 04:03:37.417768
- Title: Grading the Unannotated: Insights from the WorkRB Skill Extraction Challenge at RecSys-HR 2026
- Title（参考訳）: 未発表のグラディング:RecSys-HR 2026におけるWorkRBスキル抽出チャレンジの展望
- Abstract要約: 本稿では,アノテーションの方法論,5つのベンチマークデータセットの構築について述べる。
RecSys-HR 2026でのWorkRBチャレンジは、グレードの関連性によって置き換えられた。
モデルのランキングウィンドウのすべての候補スキルは0から4グレードを持ち、リーダーボードはこれらのグレードに対してnDCG@100をスコアする。
- 参考スコア（独自算出の注目度）: 0.19116784879310025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Skill extraction benchmarks score models against a few human-annotated positives and treat every other skill in the vocabulary as equally wrong. At the scale of ESCO (13,939 skills) this binary view can reward models that rank the annotated positive high for the wrong reason, and hides semantically nonsensical predictions. The WorkRB Challenge at RecSys-HR 2026 replaces it with graded relevance: every candidate skill in a model's ranking window carries a 0 to 4 grade, and the leaderboard scores nDCG@100 against these grades. Since ternary judgements proved too coarse for objective annotation, relevance is decomposed into a cascade of four binary questions (same domain, activity mentioned, right granularity, replacement of a gold positive) that a smaller LLM judge can answer reliably; the labels are validated with blind human and frontier-model re-annotation. This paper documents the annotation methodology, the construction of five benchmark datasets (four with vacancy sentences as queries, one with lexically distant skill surface forms), the validation of the LLM cascade, and insights from the submissions. The field converged on multi-stage retrieve-and-rerank pipelines, whose gains come from clearing nonsense out of the ranking window rather than finding more positives: at the top of the leaderboard, the graded ordering is uncorrelated with what binary evaluation would have said. Graded labels expose much bigger gaps between top submissions and baselines than binary evaluation does, and show that semantic-understanding skill recommendation is still wide open. The clear next direction is bringing efficiency back: every submitted system we could size uses at least 42x, typically several hundred times, more parameters than the baselines it beats.
- Abstract（参考訳）: スキル抽出ベンチマークは、人間の注釈付き陽性に対してモデルをスコアし、語彙の他のすべてのスキルを同じように間違った扱いをする。
ESCO(13,939のスキル)のスケールでは、このバイナリビューは、間違った理由のために注釈付き陽性高をランク付けしたモデルに報酬を与え、意味論的に非感覚的な予測を隠すことができる。
RecSys-HR 2026のWorkRBチャレンジでは、モデルのランキングウィンドウのすべての候補スキルが0から4グレードを持ち、リーダーボードはこれらのグレードに対してnDCG@100得点する。
第3の判断は客観的なアノテーションには大きすぎることが証明されたため、関連性は4つの二分問題(ドメイン、アクティビティ、右の粒度、金陽性の置き換え)のカスケードに分解され、より小さなLSM判事が確実に答えられる。
本稿では,アノテーション手法,5つのベンチマークデータセット(4つの空き文をクエリとして,1つは語彙的に離れたスキルサーフェスフォームとして)の構築,LCMカスケードの検証,および提案書からの洞察について述べる。
フィールドは多段階のレトリーブ・アンド・リロードパイプラインに収束し、その利益は、より肯定的な結果を見つけるのではなく、ランキングウィンドウからナンセンスをクリアすることにある。
ランク付けされたラベルは、バイナリ評価よりも上位のサブミッションとベースラインの間に大きなギャップを露呈しており、セマンティック理解のスキルレコメンデーションが依然として広く開放されていることを示している。
提案されたシステムはすべて、少なくとも42倍、通常は数百倍のパラメータを使用します。
関連論文リスト
- GistRank: Gist-Compressed Listwise Ranking with Large Language Models [14.874786997675933]
大規模言語モデル(LLM)は、リストワイズ関連ランキングの強力なツールとなっている。
しかし、全ての候補を冗長に処理し、自動的に置換を生成することは、推論にコストがかかる。
我々はGistRankを提案する。GistRankは3段階のトレーニングフレームワークで、大きな言語モデルにギスト圧縮された通過表現を装備する。
論文 参考訳（メタデータ） (2026-10-29T08:43:43Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - Single-Token Expected-Value Scoring for Cold-Start Candidate Ranking [37.59045211407079]
本稿では, 候補ジョブ関係を格付けトークン1, 5上の順序分類とし, 関連度スコアを第1の確率分布の期待値として読み取るランキングプリミティブを提案する。
最小言語モデル(SLM)を平均二乗誤差項を組み合わせたハイブリッド順序回帰損失で微調整する。
オンライン実験では、雇用者の低い関係を27.3%減らし、雇用者の保留率を7.07%引き上げている。
論文 参考訳（メタデータ） (2026-09-16T06:25:57Z) - SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。
我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。
信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
論文 参考訳（メタデータ） (2026-06-05T19:38:15Z) - ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking [33.25740773392183]
ERankは、多種多様な関連シナリオにまたがるLLMから構築された、非常に効率的で効率的なポイントワイド・リランカである。
スーパーバイザードファインチューニング(SFT)から始まる新しい2段階トレーニングパイプラインを提案する。
この段階では、二進ラベルを超えてモデルを生成的に訓練し、微粒な整数スコアを出力し、妥当性の識別を大幅に向上させる。
BRIGHT, FollowIR, TREC DL, BEIRベンチマークにおけるERankリランカの評価を行い, 既存手法と比較して優れた有効性と堅牢性を示した。
論文 参考訳（メタデータ） (2025-08-30T14:56:53Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。
本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文 参考訳（メタデータ） (2023-06-30T11:32:25Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳（メタデータ） (2021-12-15T04:19:52Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳（メタデータ） (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。