論文の概要: Building Legal Reward Models for Grounding and Abstention
- arxiv url: http://arxiv.org/abs/2609.14739v1
- Date: Sun, 13 Sep 2026 18:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.930468
- Title: Building Legal Reward Models for Grounding and Abstention
- Title(参考訳): 接地・留置のための法則的リワードモデルの構築
- Abstract要約: 既存の法的QAデータセットを文脈的嗜好データに変換するためのフレームワークを導入する。
文脈的DPOは基礎的評価を改善するが、性能は嗜好データ構築に敏感である。
主にヴィクトリア朝の刑事訴訟データに基づく文脈的に洗練されたモデルでは、米国外の法的なベンチマークによる根拠付き評価が改善されている。
- 参考スコア(独自算出の注目度): 19.598261101266463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used in high-stakes domains such as law, where systems must ground their reasoning in retrieved evidence and abstain when that evidence is insufficient. However, existing reward models are largely optimised for general preferences rather than contextual grounding, limiting their ability to evaluate these behaviours in retrieval-augmented generation (RAG) settings. We introduce a framework for transforming existing legal QA datasets into contextual preference data and use it to construct LegalRewardBench (LRB), a benchmark for evaluating grounded legal generation under noisy and insufficient retrieval conditions. Across general and legal contextual evaluation, we find that contextual DPO improves grounded evaluation, but performance is sensitive to preference-data construction. Length-balanced augmentation substantially improves grounded legal evaluation, with the strongest configuration combining length-balanced legal and general contextual preference data and improving performance by up to $\mathbf{+25.6}$pp over baseline. We further find evidence of cross-jurisdiction transfer: models contextually refined primarily on Victorian criminal-law data improve grounded evaluation on external US legal benchmarks, including a $\mathbf{+16.2}$pp improvement on \textsc{Housing Statute QA}. Together, these results provide a reproducible foundation for constructing and evaluating grounded legal reward models in retrieval-augmented settings.
- Abstract(参考訳): 大規模言語モデルは、法のような高度な領域でますます使われており、その証拠が不十分な場合には、システムは検索された証拠を推論し、棄却しなければならない。
しかし、既存の報酬モデルは、文脈的グラウンドよりも一般的な嗜好に最適化されており、検索強化世代(RAG)設定でこれらの振る舞いを評価する能力を制限する。
本稿では,既存の法的QAデータセットを文脈的嗜好データに変換するためのフレームワークを導入し,それをLB(LegalRewardBench)の構築に用いる。
一般および法的文脈評価全体では、文脈的DPOは基礎的評価を改善するが、性能は嗜好データ構築に敏感である。
長さバランスの強化は、長さバランスの法律的および一般的な文脈的嗜好データを組み合わせた最強構成と、ベースライン上での最大$\mathbf{+25.6}$ppの性能向上により、基礎的な法的評価を大幅に改善する。
主にヴィクトリア朝の刑事法定データに基づく文脈的に洗練されたモデルでは、外部の法定ベンチマークに対する基礎的な評価が向上し、例えば、$\mathbf{+16.2}$pp が \textsc{Housing Statute QA} で改善された。
これらの結果は、検索強化設定において、基礎となる法的報酬モデルを構築し、評価するための再現可能な基盤を提供する。
関連論文リスト
- Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳(メタデータ) (2026-05-28T10:38:38Z) - Enhancing Judgment Document Generation via Agentic Legal Information Collection and Rubric-Guided Optimization [30.089203895815384]
既存のアプローチは、通常、標準のRetrieval-Augmented GenerationとSupervised Fine-Tuningに依存し、しばしば不十分な証拠のリコール、幻覚された法的な参照、そして欠陥のある法的理由に悩まされる。
本稿では,LLMに基づく判断文書生成を論理的に向上する統一的なフレームワークであるジャッジR1を提案する。
JuDGEベンチマークの実験では、ジャッジ-R1は法的な精度と生成品質の両方において最先端のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-05-03T18:32:10Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳(メタデータ) (2026-04-14T17:04:25Z) - JUÁ -- A Benchmark for Information Retrieval in Brazilian Legal Text Collections [3.6360100966162787]
ポルトガル語の法的な情報検索は、利用可能なデータセットが文書タイプ、クエリスタイル、関連性定義で大きく異なるため、体系的に評価することが依然として困難である。
我々はブラジルの法定検索のための公開ベンチマークであるJUを、異種法定コレクション間でより再現性が高く、同等の評価をサポートするように設計された。
論文 参考訳(メタデータ) (2026-04-07T17:10:54Z) - Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization [0.3823356975862005]
LLM(Large Language Models)は、短い文脈でよく機能するが、長い法律文書では劣化する。
精度が重要な法的領域では、そのようなエラーは信頼性と信頼を損なう。
法定コーパスにおける語彙冗長性による検索誤りと、文脈不足にもかかわらずモデルが回答を生成するデコード誤りの2つの障害モードを同定する。
論文 参考訳(メタデータ) (2026-02-25T06:39:37Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳(メタデータ) (2026-01-31T10:18:32Z) - LegalMALR:Multi-Agent Query Understanding and LLM-Based Reranking for Chinese Statute Retrieval [10.997604609194033]
法定検索は法的援助と司法決定支援に不可欠である。
現実の法的なクエリは暗黙的で、複数発行され、口語または未特定の形で表現されることが多い。
本稿では,マルチエージェントクエリ理解システムとゼロショット大文字生成モジュールを統合した検索フレームワークであるLegalMALRを提案する。
論文 参考訳(メタデータ) (2026-01-25T04:44:56Z) - Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。
最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。
次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。
トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
論文 参考訳(メタデータ) (2026-01-15T11:40:57Z) - ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。
本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。
われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
論文 参考訳(メタデータ) (2025-08-24T07:19:25Z) - Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries [0.0]
本稿では,関連事例の検索を容易にするためにLarge Language Models (LLMs) を提案する。
提案手法は,Retrieval Augmented Generation (RAG) と,インドの事例法に最適化された構造化要約を組み合わせたものである。
本システムは,関連事例法をより効果的に識別するために,事実シナリオに基づく対象の法的質問を生成する。
論文 参考訳(メタデータ) (2025-07-23T05:24:44Z) - Enhancing Pre-Trained Language Models with Sentence Position Embeddings
for Rhetorical Roles Recognition in Legal Opinions [0.16385815610837165]
法的意見の規模は増え続けており、法的意見の修辞的役割を正確に予測できるモデルを開発することはますます困難になっている。
本稿では,文の位置情報に関する知識によって強化された事前学習言語モデル(PLM)を用いて,修辞的役割を自動的に予測する新しいモデルアーキテクチャを提案する。
LegalEval@SemEval2023コンペティションの注釈付きコーパスに基づいて、我々のアプローチではパラメータが少なく、計算コストが低下することを示した。
論文 参考訳(メタデータ) (2023-10-08T20:33:55Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳(メタデータ) (2023-03-02T17:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。