Fugu-MT 論文翻訳(概要): An Empirical Investigation of Practical LLM-as-a-Judge Improvement Techniques on RewardBench 2

論文の概要: An Empirical Investigation of Practical LLM-as-a-Judge Improvement Techniques on RewardBench 2

arxiv url: http://arxiv.org/abs/2604.13717v1
Date: Wed, 15 Apr 2026 10:52:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-16 20:38:32.493838
Title: An Empirical Investigation of Practical LLM-as-a-Judge Improvement Techniques on RewardBench 2
Title（参考訳）: RewardBench 2におけるLCM-as-a-Judgeの改善技術に関する実証的研究
Authors: Ryan Lail,
Abstract要約: 微調整なしでRewardBench 2のGPT-5.4判定精度を向上させる手法を提案する。 2つのテクニックは、タスク固有の基準注入とアンサンブルスコアという、ほぼすべての利得を考慮に入れている。さらに3つのテクニックは、基準とアンサンブルを同等のコストで確実に改善しなかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM-as-a-judge, using a language model to score or rank candidate responses, is widely used as a scalable alternative to human evaluation in RLHF pipelines, benchmarking, and application layer evaluations (evals). However, judgment reliability depends heavily on prompting and aggregation strategy. We present an empirical investigation of practical, drop-in techniques that improve GPT-5.4 judge accuracy on RewardBench 2 without any finetuning. Two techniques account for nearly all available gains: task-specific criteria injection (+3.0pp at negligible cost) and ensemble scoring (+9.8pp at 5x cost). Combined, they reach 83.6% accuracy, +11.9pp over the 71.7% baseline. Our investigation also covers three further techniques (calibration context, adaptive model escalation, and soft blending) which did not reliably improve on criteria + ensembling at comparable cost. Cheaper model tiers benefit disproportionately from ensembling: GPT-5.4 mini with k=8 achieves 79.2% at 1.2x baseline cost, and GPT-5.4 nano with k=8 reaches 71.4% at 0.4x baseline cost, making high-accuracy LLM judges accessible at low cost.
Abstract（参考訳）: LLM-as-a-judgeは、言語モデルを用いて、RLHFパイプライン、ベンチマーク、アプリケーション層評価(evals)において、人間の評価に代わるスケーラブルな代替品として広く使われている。しかし、判断の信頼性はプロンプトとアグリゲーション戦略に大きく依存する。本稿では,RewardBench 2におけるGPT-5.4判定精度を向上させる実用的なドロップイン技術について,微調整なしで実証検討する。タスク固有の基準注入(無視可能なコストで+3.0pp)とアンサンブルスコア(5倍のコストで+9.8pp)である。合計で83.6%の精度で、71.7%のベースラインで+11.9ppに達した。また, 校正コンテキスト, 適応モデルエスカレーション, ソフトブレンディングの3つの手法についても検討した。 GPT-5.4 mini with k=8は79.2%のベースラインコストで、GPT-5.4 nano with k=8は71.4%のベースラインコストで、高い精度のLCM裁判官は低コストで利用できる。

関連論文リスト

Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
論文参考訳（メタデータ） (2026-04-03T08:36:03Z)
How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。 How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
論文参考訳（メタデータ） (2026-02-09T15:47:14Z)
EvasionBench: Detecting Evasive Answers in Financial Q&A via Multi-Model Consensus and LLM-as-Judge [8.50639201265868]
EvasionBenchを紹介します。3万のトレーニングサンプルと1,000人の人手によるテストサンプルで構成されています。 2つの強いアノテータが衝突し、審査員がラベルを解消する境界ケースを抽出する。トレーニングされたモデルEva-4B(4Bパラメータ)は81.3%の精度でベースを25ポイント上回っている。
論文参考訳（メタデータ） (2026-01-14T04:26:43Z)
LLM-as-a-Judge for Scalable Test Coverage Evaluation: Accuracy, Operational Reliability, and Cost [1.7133809948345597]
構造化評価を用いた受入テスト評価のための実運用対応フレームワークを提案する。正確性、運用上の信頼性、コストにまたがる最初の包括的分析を提供する。私たちは、データセット、フレームワーク、そしてデプロイをサポートするためのコードをリリースします。
論文参考訳（メタデータ） (2025-12-01T03:19:33Z)
Humains-Junior: A 3.8B Language Model Achieving GPT-4o-Level Factual Accuracy by Directed Exoskeleton Reasoning [0.0]
Humans-Juniorは3.8Bモデルで、FACTS GroundingのパブリックサブセットのGPT-4oと$pm 5$ ppで一致している。我々のアプローチは、最小指向の"Exoskeleton Reasoning"足場と、プロトコルコンプライアンスを教える振る舞いの微調整を組み合わせたものです。
論文参考訳（メタデータ） (2025-10-29T20:12:36Z)
Efficient Online RFT with Plug-and-Play LLM Judges: Unlocking State-of-the-Art Performance [0.0]
リワードモデルトレーニングは、現代の強化学習ヒューマンフィードバック(RLHF)パイプラインのコストボトルネックである。提案手法では, 冷凍型7B LLMを1行とランク16のLORAアダプタで拡張する。プラグ・アンド・プレイの審査員96.2%はRewardBenchの精度を達成し、27Bから70Bパラメータの特殊報酬ネットワークを上回っている。
論文参考訳（メタデータ） (2025-06-06T05:18:54Z)
How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
論文参考訳（メタデータ） (2024-03-18T14:04:47Z)
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文参考訳（メタデータ） (2024-02-20T18:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。