論文の概要: LegalRewardBench: Benchmarking Reward Models for Legal Preference Evaluation
- arxiv url: http://arxiv.org/abs/2610.18299v1
- Date: Tue, 13 Oct 2026 12:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:31:30.540584
- Title: LegalRewardBench: Benchmarking Reward Models for Legal Preference Evaluation
- Title（参考訳）: LegalRewardBench: 法的選好評価のためのリワードモデルのベンチマーク
- Abstract要約: LegalRewardBenchは、法域における報酬モデルを評価するための最初の人間認証ベンチマークである。
このベンチマークは、法的な選好評価を、知識、理解、分析、決定と記述、好みの例の5つの能力レベルにまとめている。
実験結果から、強い汎用生成モデルは、現在最も堅牢な法的な報酬モデルであることが示された。
- 参考スコア（独自算出の注目度）: 29.914825684230042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward models are central to preference alignment for legal tasks, yet existing reward model benchmarks are still primarily centered on general-domain preferences. In this work, we introduce LegalRewardBench, the first human-verified benchmark for evaluating reward models in the legal domain. The benchmark organizes legal preference evaluation into five capability levels: knowledge, understanding, analysis, decision, and writing, and preference examples are constructed through rubric-guided automatic judging combined with human verification. We evaluate three families of judges, covering both general and fine-tuned models, and generative and discriminative architectures. Experimental results show that strong general-purpose generative models are currently the most robust legal reward models, while existing fine-tuned reward models transfer less reliably to legal preference evaluation. We also conduct detailed comparisons of input organizations and training strategies.
- Abstract（参考訳）: リワードモデルは法的タスクの優先順位付けの中心であるが、既存の報酬モデルベンチマークは依然として一般的なドメインの優先順位に重点を置いている。
本稿では、法域における報酬モデルを評価するための最初の人間検証ベンチマークであるLegalRewardBenchを紹介する。
このベンチマークは、法的な選好評価を5つの能力レベルに分類する: 知識、理解、分析、決定、記述、および選好例は、人間の検証と組み合わされたルーリック誘導による自動判断によって構築される。
我々は、一般的なモデルと微調整されたモデルと、生成的および識別的アーキテクチャの両方をカバーする、裁判官の3つの家系を評価する。
実験結果から,強い汎用生成モデルが現在最も堅牢な法的な報酬モデルであることが明らかとなった。
また、入力組織とトレーニング戦略の詳細な比較も行います。
関連論文リスト
- Building Legal Reward Models for Grounding and Abstention [19.598261101266463]
既存の法的QAデータセットを文脈的嗜好データに変換するためのフレームワークを導入する。
文脈的DPOは基礎的評価を改善するが、性能は嗜好データ構築に敏感である。
主にヴィクトリア朝の刑事訴訟データに基づく文脈的に洗練されたモデルでは、米国外の法的なベンチマークによる根拠付き評価が改善されている。
論文 参考訳（メタデータ） (2026-09-13T18:59:58Z) - Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization [12.964518425036168]
パーソナライズド・リワードベンチ(Personalized RewardBench)は、パーソナライズされた好みをモデル化するための報酬モデルの能力を厳格に評価する新しいベンチマークである。
選択された応答対と拒否された応答対は、ユーザ固有のルーリックへの厳密な固執(または違反)に基づいて構成し、好みの区別が個人ごとに一意に調整されていることを保証します。
本ベンチマークでは,既存のベースラインと比較して,Best-of-N(BoN)サンプリングとPPO(Porximal Policy Optimization)の両方において,ダウンストリーム性能と有意に高い相関関係を示した。
論文 参考訳（メタデータ） (2026-04-08T17:55:00Z) - RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。
コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。
本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
論文 参考訳（メタデータ） (2025-06-02T17:54:04Z) - J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。
我々はReasoningJudgeBenchというベンチマークを紹介します。
EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文 参考訳（メタデータ） (2025-05-19T16:50:35Z) - Direct Judgement Preference Optimization [79.54459973726405]
我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。
我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。
提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
論文 参考訳（メタデータ） (2024-09-23T02:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。