論文の概要: A Mathematical Framework for Custom Reward Functions in Job Application Evaluation using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2511.16073v1
• Date: Thu, 20 Nov 2025 06:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.489138
• Title: A Mathematical Framework for Custom Reward Functions in Job Application Evaluation using Reinforcement Learning
• Title（参考訳）: 強化学習を用いた求人評価におけるカスタム・リワード関数の数学的枠組み
• Authors: Shreyansh Jain, Madhav Singhvi, Shreya Rahul Jain, Pranav S, Dishaa Lokesh, Naren Chittibabu, Akash Anandhan,
• Abstract要約: 本稿では,小言語モデルに基づくより洗練された履歴書評価モデルを構築するための2段階のプロセスについて述べる。 このモデルはカスタム報酬関数上でGRPOを使用して微調整される。 その結果, GRPO分析モデルでは実世界の有効性が顕著に示され, 最終精度は91%であった。
• 参考スコア（独自算出の注目度）: 0.8709142317087694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional Applicant Tracking Systems (ATS) tend to be inflexible keyword-matchers, and deny gifted candidates a role due to a few minor semantic mismatches. This article describes a new two-step process to design a more refined resume evaluation model based on a small language model (<600M parameters) that is finetuned using GRPO on a custom reward function. To begin with, Supervised Fine-Tuning (SFT) was used to build a solid baseline model. Second, this SFT model was also optimized with the help of Reinforcement Learning (RL) through GRPO under the guidance of a new, multi-component reward function that can holistically assess candidates beyond simple keyword matching. We indicate that the RL application presents a critical problem of reward hacking due to the initial experiments of aggressive penalties, which produces faulty, excessively negative model behaviors. We have overcome this challenge by refining the reward function repeatedly and training hyperparameters into a stable "gentle polishing process" of the reward function. Our resulting GRPO-polished model demonstrates significant real-world efficacy, achieving a final accuracy of 91% on unseen test data. The model shows a strong ability to correctly identify qualified candidates (recall of 0.85 for the 'SELECTED' class) while also showing exceptional precision (1.0), confirming its reliability. These results indicate that a properly executed, two-step fine-tuning procedure can indeed effectively refine a small language model to be able to conduct fine-tuned and human-like candidate scoring, overcoming the drawbacks of both traditional ATS and naive RL usage.
• Abstract（参考訳）: 従来のアプリケーション追跡システム(ATS)は、柔軟性のないキーワード・マーチャントであり、少数のマイナーなセマンティックミスマッチのため、贈与候補が役割を否定する傾向にある。 本稿では、GRPOをカスタム報酬関数で微調整した小さな言語モデル(600Mパラメータ)に基づいて、より洗練された履歴評価モデルを構築するための2段階のプロセスについて述べる。 まず、SFT(Supervised Fine-Tuning)がベースラインモデルの構築に使用された。 第二に、このSFTモデルは、単純なキーワードマッチング以上の候補を全体評価できる新しい多成分報酬関数の指導の下で、GRPOを介して強化学習(RL)の助けを借りて最適化された。 RL アプリケーションは,攻撃的ペナルティの初期実験により,過度にネガティブなモデル動作を生じさせるため,報酬ハッキングの重大な問題となることを示す。 我々は、報酬関数を繰り返し精製し、報酬関数の安定な「紳士研磨過程」にハイパーパラメータを訓練することで、この課題を克服した。 その結果, GRPO分析モデルでは実世界の有効性が顕著に示され, 最終精度は91%であった。 このモデルでは、適格候補を正しく識別する能力(「SELECTED」クラスの0.85をリコールする)が強く、また、その信頼性を確認した例外的な精度(1.0)を示す。 これらの結果は、適切に実行された2段階の微調整手順が、従来のATSと単純RLの両方の欠点を克服して、細調整された人型候補のスコアリングを行うことができるような、小さな言語モデルを効果的に洗練できることを示唆している。

関連論文リスト

• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Distributionally Robust Reinforcement Learning with Human Feedback [13.509499718691016]
  大規模言語モデルを微調整するための分散ロバストなRLHFを提案する。 我々のゴールは、プロンプトの分布が著しく異なる場合でも、微調整モデルがその性能を維持することである。 我々は,学習した報酬モデルの精度を平均で向上し,推論などのタスクにおいて顕著に向上することを示す。
  論文  参考訳（メタデータ） (2025-03-01T15:43:39Z)
• Entropy-Regularized Process Reward Model [43.09203393852343]
  大規模言語モデル(LLM)は、複雑な多段階推論を行う上で有望であるが、数学的推論に苦慮し続けている。 KL規則化マルコフ決定プロセス(MDP)を統合したエントロピー規則化プロセス報酬モデル(ER-PRM)を提案する。 MATHとGSM8Kベンチマークの実証実験により、ER-PRMは既存のプロセス報酬モデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-15T01:09:23Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• SuperHF: Supervised Iterative Learning from Human Feedback [20.22920163075946]
  我々は,大規模言語モデル,Supervised Fine-Tuning (SFT) とReinforcement Learning from Human Feedback (RLHF) の2つの一般的な手法に着目した。 両手法の強みを生かした新しい手法であるSupervised Iterative Learning from Human Feedback (SuperHF)を提案する。 実験の結果,SuperHF は PPO ベースの RLHF を超え,高い報酬を低報酬ハッキングで容易にかつ好意的に取り除き,下流校正を改善し,GPT-4 ベースの定性評価スキームでも同様に実施し,実装は極めて簡単であった。
  論文  参考訳（メタデータ） (2023-10-25T16:52:00Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。