論文の概要: Knowledge Graph-Assisted LLM Post-Training for Enhanced Legal Reasoning
- arxiv url: http://arxiv.org/abs/2601.13806v1
- Date: Tue, 20 Jan 2026 10:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:23.257066
- Title: Knowledge Graph-Assisted LLM Post-Training for Enhanced Legal Reasoning
- Title（参考訳）: 改良法推論のための知識グラフ支援LDMポストトライニング
- Authors: Dezhao Song, Guglielmo Bonifazi, Frank Schilder, Jonathan Richard Schwarz,
- Abstract要約: LLMポストトレーニングは主に、ドメイン知識の構造を捉えることなく、大きなテキストコーパスと人間のフィードバックに依存している。
これによりモデルは複雑な推論タスク、特に高度な専門ドメインを扱うのに苦労する。
本稿では,法律におけるLLMの推論能力を高めるための知識グラフ(KG)支援手法を提案する。
- 参考スコア（独自算出の注目度）: 6.764597979500216
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LLM post-training has primarily relied on large text corpora and human feedback, without capturing the structure of domain knowledge. This has caused models to struggle dealing with complex reasoning tasks, especially for high-stakes professional domains. In Law, reasoning requires deep understanding of the relations between various legal concepts, a key component missing in current LLM post-training. In this paper, we propose a knowledge graph (KG)-assisted approach for enhancing LLMs' reasoning capability in Legal that is generalizable to other high-stakes domains. We model key legal concepts by following the \textbf{IRAC} (Issue, Rule, Analysis and Conclusion) framework, and construct a KG with 12K legal cases. We then produce training data using our IRAC KG, and conduct both Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO) with three state-of-the-art (SOTA) LLMs (30B, 49B and 70B), varying architecture and base model family. Our post-trained models obtained better average performance on 4/5 diverse legal benchmarks (14 tasks) than baselines. In particular, our 70B DPO model achieved the best score on 4/6 reasoning tasks, among baselines and a 141B SOTA legal LLM, demonstrating the effectiveness of our KG for enhancing LLMs' legal reasoning capability.
- Abstract（参考訳）: LLMポストトレーニングは主に、ドメイン知識の構造を捉えることなく、大きなテキストコーパスと人間のフィードバックに依存している。
これによりモデルは複雑な推論タスク、特に高度な専門ドメインを扱うのに苦労する。
法律では、推論は様々な法的概念の関係を深く理解する必要がある。
本稿では,LLMの法務における推論能力を高めるための知識グラフ(KG)を用いた手法を提案する。
我々は,<textbf{IRAC} (Issue, Rule, Analysis and Conclusion) フレームワークに従えば,主要な法的概念をモデル化する。
次に, IRAC KGを用いたトレーニングデータを作成し, 3つのSOTA(State-of-the-art) LLM(30B, 49B, 70B)と, 各種アーキテクチャおよびベースモデルファミリを用いて, SFT(Supervised Fine-Tuning)とDPO(Direct Preference Optimization)の両方を実行する。
トレーニング後のモデルでは,ベースラインよりも4/5の多種多様な法定ベンチマーク(14タスク)で平均性能が向上した。
特に,我々の70B DPOモデルは,ベースラインと141B SOTA法的なLCMのうち,4/6の推論タスクにおいて最高のスコアを達成し,LLMの法的な推論能力を高めるためのKGの有効性を実証した。
関連論文リスト
- References Improve LLM Alignment in Non-Verifiable Domains [118.26447686644808]
基準誘導型LCM評価器がソフトな「検証器」として機能することでギャップを埋められるか検討する。
基準誘導手法は,フロンティアモデルからの参照を用いて,低能力のLCMジャッジの精度を大幅に向上することを示す。
基準誘導自己改善は、基準出力に対する直接SFTと基準自由判断による自己改善の両方に対して明らかな利得が得られることを示す。
論文 参考訳（メタデータ） (2026-02-18T19:03:34Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - Exploring the Vertical-Domain Reasoning Capabilities of Large Language Models [19.821219678322517]
本研究では,垂直領域会計推論の概念を導入し,評価基準を確立する。
本稿では, GLM-6B, GLM-130B, GLM-4, OpenAI GPT-4 などの代表モデルについて, 会計推論タスクのセットを用いて評価する。
論文 参考訳（メタデータ） (2025-12-27T02:39:34Z) - Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。
本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。
IB対応推論最適化(IBRO)を提案する。
論文 参考訳（メタデータ） (2025-07-24T13:14:25Z) - General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。
本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。
私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
論文 参考訳（メタデータ） (2025-05-20T17:41:33Z) - Investigating the Shortcomings of LLMs in Step-by-Step Legal Reasoning [34.427730009102966]
推論誤りを特定し,LLMの性能を評価するための自動評価フレームワークを開発した。
我々の研究は、論理集約的な複雑なタスクに対する推論チェーンの詳細なエラー解析に使用できる評価フレームワークとしても機能する。
論文 参考訳（メタデータ） (2025-02-08T19:49:32Z) - Large Language Model-Enhanced Symbolic Reasoning for Knowledge Base Completion [28.724919973497943]
大きな言語モデル(LLM)とルールベースの推論は、知識ベース補完の柔軟性と信頼性を向上させる強力なソリューションを提供する。
本稿では, サブグラフエクストラクタ, LLMプロポーラ, ルール共振器からなる新しいフレームワークを提案する。
提案したルールの豊かさと多様性を高めるためのLCMの利用,信頼性を向上させるためのルールベースの推論との統合などである。
論文 参考訳（メタデータ） (2025-01-02T13:14:28Z) - On the Suitability of pre-trained foundational LLMs for Analysis in German Legal Education [1.7977968161686195]
現状のオープンソース基盤LPMには,教育的文脈における法的分析に十分な指導能力とドイツの法的背景知識が備わっていることを示す。
しかしながら、モデル機能は、"Gutachtenstil"評価スタイルコンポーネントの分類など、非常に特殊なタスクで分解される。
本稿では、高可用性シナリオにおける予測を大幅に改善する検索拡張生成に基づくプロンプト例選択手法を提案する。
論文 参考訳（メタデータ） (2024-12-20T13:54:57Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。
実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。
従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
論文 参考訳（メタデータ） (2024-08-13T10:15:55Z) - Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。
ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。
ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
論文 参考訳（メタデータ） (2023-07-15T03:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。