論文の概要: J4R: Learning to Judge with Equivalent Initial State Group Relative Preference Optimization

• arxiv url: http://arxiv.org/abs/2505.13346v1
• Date: Mon, 19 May 2025 16:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.752963
• Title: J4R: Learning to Judge with Equivalent Initial State Group Relative Preference Optimization
• Title（参考訳）: J4R: 等価初期状態群推論最適化による判断の学習
• Authors: Austin Xu, Yilun Zhou, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty,
• Abstract要約: 私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
• 参考スコア（独自算出の注目度）: 69.23273504123941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To keep pace with the increasing pace of large language models (LLM) development, model output evaluation has transitioned away from time-consuming human evaluation to automatic evaluation, where LLMs themselves are tasked with assessing and critiquing other model outputs. LLM-as-judge models are a class of generative evaluators that excel in evaluating relatively simple domains, like chat quality, but struggle in reasoning intensive domains where model responses contain more substantive and challenging content. To remedy existing judge shortcomings, we explore training judges with reinforcement learning (RL). We make three key contributions: (1) We propose the Equivalent Initial State Group Relative Policy Optimization (EIS-GRPO) algorithm, which allows us to train our judge to be robust to positional biases that arise in more complex evaluation settings. (2) We introduce ReasoningJudgeBench, a benchmark that evaluates judges in diverse reasoning settings not covered by prior work. (3) We train Judge for Reasoning (J4R), a 7B judge trained with EIS-GRPO that outperforms GPT-4o and the next best small judge by 6.7% and 9%, matching or exceeding the performance of larger GRPO-trained judges on both JudgeBench and ReasoningJudgeBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)開発のペースを早めるため,LLM自体が他のモデルアウトプットの評価・評価を担っているため,モデルアウトプットの評価は時間のかかる人的評価から自動評価へと移行した。 LLM-as-judgeモデル(LLM-as-judge model)は、チャット品質のような比較的単純なドメインの評価に優れているが、モデル応答がより実体的で挑戦的なコンテンツを含む集中的なドメインの推論に苦労する生成的評価のクラスである。 既存の裁判官の欠点を補うため,強化学習(RL)による審査員の育成について検討する。 我々は,(1)等価初期状態群相対政策最適化(EIS-GRPO)アルゴリズムを提案する。 2) ReasoningJudgeBenchは、事前の作業でカバーされていないさまざまな推論設定において、審査員を評価するベンチマークである。 3) EIS-GRPO で訓練した7B 判事は GPT-4o を6.7% と 9% で上回り, より大きな GRPO 訓練審査員の成績と一致又は上回っている。

関連論文リスト

• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeLRM: Large Reasoning Models as a Judge [65.14085339820795]
  我々は,Large Language Models (LLMs) の判断が推論能力の強化から真に恩恵を受けるかどうかを考察する。 本稿では、強化学習(RL)を用いて学習した判断指向LLMのファミリーであるジャッジLRMを紹介する。
  論文  参考訳（メタデータ） (2025-03-31T02:18:51Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Direct Judgement Preference Optimization [66.83088028268318]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。