論文の概要: Towards Better Legal Reasoning LLMs: Signal Balancing and Reward Scheduling
- arxiv url: http://arxiv.org/abs/2611.15346v1
- Date: Wed, 11 Nov 2026 11:23:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.113024
- Title: Towards Better Legal Reasoning LLMs: Signal Balancing and Reward Scheduling
- Title(参考訳): 信号バランシングとリワードスケジューリングによるLLM改善に向けて
- Abstract要約: 高品質な推論トレースを生成するために,LLMを訓練するための2段階のトレーニングフレームワークを提案する。
ステージIでは、JurisCoT-SFTは、推論トレースと最終回答の間の学習信号のバランスをとるために、長さ正規化された二重目的を用いている。
ステージIIでは、ライフサイクル対応のバックトラックブルポリシー最適化が動的に評価され、補助的な報酬信号が削除される。
- 参考スコア(独自算出の注目度): 46.9713038290867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the legal domain, LLMs can improve reliability and interpretability by generating explicit reasoning traces. However, training LLMs to produce high-quality reasoning traces remains challenging. Existing supervised fine-tuning methods struggle when reasoning traces are significantly longer than final answers, as the learning signal for the answer becomes diluted. Meanwhile, reinforcement learning methods such as Group Relative Policy Optimization also have several limitations, including costly reward design, performance plateaus, and reward hacking. We therefore propose a two-stage training framework. In Stage I, JurisCoT-SFT employs a length-normalized dual objective to balance learning signals between reasoning traces and final answers. In Stage II, Lifecycle-Aware Backtrackable Policy Optimization dynamically evaluates and retires auxiliary reward signals based on their impact on final evaluation objectives, enabling efficient reward utilization. Our framework substantially improves legal reasoning performance on relevant tasks selected from multiple legal benchmarks, including ChJGBench, LawBench, and LegalBench. Experimental results demonstrate consistent improvements in both reasoning trace quality and final answer accuracy, while our models remain competitive with larger models.
- Abstract(参考訳): 法的な領域では、LSMは明示的な推論トレースを生成することによって信頼性と解釈性を向上させることができる。
しかし、高品質な推論トレースを生成するためにLLMを訓練することは依然として困難である。
既存の教師付き微調整手法は、解答の学習信号が希薄になるにつれて、トレースの推論が最終解よりもかなり長い場合に苦労する。
一方、グループ相対政策最適化のような強化学習手法には、コストのかかる報酬設計、パフォーマンスプラトー、報酬ハッキングなど、いくつかの制限がある。
そこで我々は,2段階のトレーニングフレームワークを提案する。
ステージIでは、JurisCoT-SFTは、推論トレースと最終回答の間の学習信号のバランスをとるために、長さ正規化された二重目的を用いている。
第2段階では,ライフサイクルアウェア・バックトラックブル・ポリシー最適化が最終評価目標に対する影響に基づいて,補助報酬信号を動的に評価・廃止し,効率的な報酬利用を実現する。
本フレームワークは,ChJGBench,LawBench,LegalBenchなど,複数の法定ベンチマークから選択したタスクに対する法的推論性能を大幅に改善する。
実験結果から, モデルがより大きなモデルと競合する一方で, トレース品質と最終解答精度の両面において一貫した改善が得られた。
関連論文リスト
- Reducing Credit Assignment Variance via Counterfactual Reasoning Paths [11.514388061694268]
大規模言語モデル(LLM)を用いた多段階推論のための強化学習は、しばしばスパース端末報酬に依存する。
本稿では,複数の推論軌跡を同一の入力でサンプリングする,対実的比較に基づく信用割当フレームワークを提案する。
我々は、スパース端末報酬をステップセンシティブな学習信号に変換する暗黙のプロセスレベル優位推定器を構築する。
論文 参考訳(メタデータ) (2026-04-20T13:33:54Z) - Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。
本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。
我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
論文 参考訳(メタデータ) (2026-03-12T17:57:06Z) - Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning [18.80588864499134]
Grad2Rewardは、ジャッジのモデル推論プロセスから直接、単一の後方パスを介して、密集したプロセス報酬を抽出する。
Grad2Rewardはグラデーションベースの属性を利用することで、正確なトークンレベルのクレジット割り当てを可能にする。
Grad2Rewardで最適化されたポリシーは、様々なオープンエンドタスクで優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-02-02T08:13:13Z) - Incentivizing In-depth Reasoning over Long Contexts with Process Advantage Shaping [38.280470586624496]
長文推論には正確な接地と頑健な長距離推論の両方が必要である。
本稿では,KG駆動型フレームワークであるDeepReasonQAを提案する。
提案手法はRLVRのベースラインを大幅に上回り,パラメータをはるかに少なくしてフロンティアのLLMにマッチすることを示す。
論文 参考訳(メタデータ) (2026-01-18T16:10:04Z) - Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。
最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。
次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。
トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
論文 参考訳(メタデータ) (2026-01-15T11:40:57Z) - Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。
進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。
ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
論文 参考訳(メタデータ) (2025-12-01T17:41:08Z) - Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards [24.40159537923851]
音声大言語モデルにおけるロバストでスケーラブルな推論法を開発するための原理的手法を開発した。
MMAU 2.5 Pro と GPT-4o Audio をほぼ上回り、MMSU の推論タスクにおけるほぼ人間レベルの性能を向上する。
論文 参考訳(メタデータ) (2025-10-23T06:18:10Z) - Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2025-09-28T16:33:07Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T05:21:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。