Fugu-MT 論文翻訳(概要): LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

論文の概要: LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

arxiv url: http://arxiv.org/abs/2609.39071v1
Date: Wed, 30 Sep 2026 06:09:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:27.269158
Title: LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models
Title（参考訳）: LexReward: 法的言語モデルのための分類駆動リワードフレームワーク
Abstract要約: 法的な報酬モデリングのための分類駆動型フレームワークであるLexRewardを紹介する。リワードは3つの相補的な次元に沿って法的な応答品質を特徴づける。実験により、ルーブリックに基づく報酬は、異なる品質の法的応答を確実に区別できることが示されている。
参考スコア（独自算出の注目度）: 26.691932835713143
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Legal language models require reward signals that capture not only answer correctness but also the multidimensional quality of legal responses. Existing reward methods, however, often rely on coarse-grained holistic judgments, providing limited domain specificity and interpretability. We introduce LexReward, a taxonomy-driven framework for legal reward modeling. LexReward characterizes legal response quality along three complementary dimensions: Style, covering lexical and syntactic quality; Element, assessing legal subjects, facts, statutes, and decisions; and Chain, evaluating the order, completeness, correctness, and non-redundancy of legal reasoning. For each dimension, we develop rubrics that specify evaluation criteria and quality levels. The resulting rewards are used to construct pairwise preference data for Direct Preference Optimization (DPO) and reward-model training. Experiments show that the rubric-based rewards reliably distinguish legal responses of different quality and that DPO training on the preference data improves performance across all three dimensions. The learned reward models, LexRM, also support effective downstream optimization: each dimension-specific reward model improves policy performance in its corresponding dimension through reinforcement learning, without requiring reference answers at reward time. Dimension-wise analyses further support the effectiveness of the proposed taxonomy and reward construction.
Abstract（参考訳）: 法的言語モデルは、正解だけでなく、法的な応答の多次元的品質を捉える報奨信号を必要とする。しかし、既存の報酬法はしばしば粗大な全体論的判断に依存し、限定的な領域特異性と解釈可能性を提供する。法的な報酬モデリングのための分類駆動型フレームワークであるLexRewardを紹介する。 LexRewardは3つの相補的な側面に沿って法的な応答の質を特徴付けている:スタイル、語彙的および統語的品質、要素、法的主題、事実、法令、決定の評価、チェーン、秩序、完全性、正当性、非冗長性。各次元について,評価基準と品質レベルを指定するルーブリックを開発する。得られた報酬は、直接選好最適化(DPO)と報酬モデルトレーニングのためのペアワイズ選好データを構築するために使用される。実験により、ルーリックベースの報酬は、異なる品質の法的な応答を確実に区別し、選好データに対するDPOトレーニングは、3次元すべてで性能を向上させることが示された。学習された報酬モデルであるLexRMは、効果的な下流最適化もサポートしている。各次元固有の報酬モデルは、報酬時の参照回答を必要とせず、強化学習を通じて対応する次元の政策性能を改善する。次元分析は、提案された分類学と報酬構築の有効性をさらに支持する。

関連論文リスト

Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
論文参考訳（メタデータ） (2026-09-28T14:37:33Z)
Building Legal Reward Models for Grounding and Abstention [19.598261101266463]
既存の法的QAデータセットを文脈的嗜好データに変換するためのフレームワークを導入する。文脈的DPOは基礎的評価を改善するが、性能は嗜好データ構築に敏感である。主にヴィクトリア朝の刑事訴訟データに基づく文脈的に洗練されたモデルでは、米国外の法的なベンチマークによる根拠付き評価が改善されている。
論文参考訳（メタデータ） (2026-09-13T18:59:58Z)
Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
論文参考訳（メタデータ） (2026-06-25T17:09:12Z)
Prompt-Level Reward Specifications for Open-Ended Post-Training [43.215398565987265]
訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
論文参考訳（メタデータ） (2026-05-28T02:52:06Z)
Rubric-Grounded RL: Structured Judge Rewards for Generalizable Reasoning [1.517713730645682]
我々は,構造的かつ多条件の報酬に対してポリシを最適化するフレームワークとして,経験的地下強化学習(RL: Emphrubric-grounded reinforcement learning)を定式化する。我々は、約10万の科学・技術文書からなるOSTI(Office of Scientific and Technical Information)由来のコーパスから潤滑剤を抽出して、この枠組みをインスタンス化する。
論文参考訳（メタデータ） (2026-05-08T17:48:58Z)
Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
論文参考訳（メタデータ） (2026-04-15T05:44:14Z)
Optimizing Long-Form Clinical Text Generation with Claim-Based Rewards [9.525090594500577]
長期臨床テキスト生成のための評価統合強化学習フレームワークを提案する。提案手法は,個別の報酬モデルを訓練したり,人手による参照に頼ることなく,現実的な接地と完全性を直接的に最適化する。このフレームワークは現実世界の設定にスケーラブルで、ガイドラインの遵守や請求の好みといったカスタムの目的を組み込むことができる。
論文参考訳（メタデータ） (2025-09-26T17:53:08Z)
Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment [50.21842377409232]
重要な役割の報酬モデルが整列するにもかかわらず、以前の作品は一貫してパフォーマンスを見落としている。本研究は、まず、広く使われている嗜好データセットHH-RLHFの品質を調査し、クリーンバージョンCHH-RLHFをキュレートする。本稿では,CHH-RLHFに基づいて,従来のアライメント作業で使用する幅広い報酬モデルの精度をベンチマークし,最適化と評価の両方に使用するという信頼性の欠如を明らかにした。
論文参考訳（メタデータ） (2024-09-26T04:28:35Z)
Direct Judgement Preference Optimization [79.54459973726405]
我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
論文参考訳（メタデータ） (2024-09-23T02:08:20Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。