論文の概要: Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training

• arxiv url: http://arxiv.org/abs/2610.13722v1
• Date: Fri, 09 Oct 2026 15:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.651906
• Title: Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
• Title（参考訳）: 知識グラフ誘導マルチタスク事前学習による事前学習言語モデルの法的推論の強化
• Abstract要約: 法的な言語理解は、半構造化された規制文書の推論を必要とする。 ドイツ交通法(StVO)に対するマルチタスク事前学習手法を提案する。 このアプローチは、構造化された法的な知識を直接モデルウェイトに直接エンコードする。
• 参考スコア（独自算出の注目度）: 3.065243326333468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal language understanding requires reasoning over semi-structured regulatory documents, yet standard pre-training objectives do not explicitly target this structural capability. Because current legal language models rely solely on masked language modeling, they treat statutory text as flat token sequences and ignore the underlying hierarchical constraints. To bridge this gap, we present a multi-task pre-training approach for German traffic law (StVO). Our approach combines three complementary objectives: Next Sentence Prediction (NSP), Knowledge Graph (KG) Guided Clustering (CLU), and Knowledge Graph (KG) Aware Paragraph Classification (CLS). This approach explicitly encodes structured legal knowledge directly into the model weights. This encoding enables zero-shot legal reasoning at inference time and removes the need for discrete graph traversal. We evaluate our approach across nine Transformer-based encoders and 324 experimental runs. On synthetic StVO question answering, our models demonstrate consistent relative improvements between 10.3% and 155.0% over baselines. Furthermore, relative to the established LexGLUE baselines (Chalkidis et al., 2022), our models improve over prior results on four of seven legal benchmarks. It also achieves consistent zero-shot transfer gains between 3.4% and 15.8% on Austrian driving regulations. These experimental results indicate that our training approach generalizes successfully beyond the initial training legal domain.
• Abstract（参考訳）: 法的な言語理解は、半構造化された規制文書の推論を必要とするが、標準的な事前学習の目的は、この構造的能力を明示的にターゲットしていない。 現在の法律言語モデルは、マスク付き言語モデリングのみに依存しているため、法定テキストをフラットトークンシーケンスとして扱い、基礎となる階層的制約を無視している。 このギャップを埋めるために、ドイツ交通法(StVO)のマルチタスク事前学習手法を提案する。 提案手法は,Next Sentence Prediction (NSP), Knowledge Graph (KG) Guided Clustering (CLU), Knowledge Graph (KG) Aware Paragraph Classification (CLS)の3つの相補的目的を組み合わせたものである。 このアプローチは、構造化された法的な知識を直接モデルウェイトに直接エンコードする。 この符号化により、推論時にゼロショットの法的推論が可能となり、離散グラフトラバースの必要性を排除できる。 我々は,トランスフォーマーをベースとした9つのエンコーダと324の実験的実行に対するアプローチを評価した。 合成StVO質問応答では, ベースラインよりも10.3%から155.0%の相対的な改善が見られた。 さらに、確立されたLexGLUEベースライン(Chalkidis et al , 2022)と比較して、我々のモデルは7つの法的なベンチマークのうち4つの結果よりも改善されている。 また、オーストリアの運転規則では3.4%から15.8%の間で一貫したゼロショット・トランスファーを達成している。 これらの実験結果から,初等訓練法域を超越してトレーニング手法の一般化が達成されたことが示唆された。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions [0.0]
  Multi-Legal-Benchは、6か国で同一のタスクを評価する最初の横断的法定ベンチマークである。 ベンチマークでは、裁判所型分類、判決形式分類、ケースアウトカム予測、法的規範抽出、原因カテゴリー予測の5つのタスクを定義している。 ゼロショットと3ショットのプロンプトでAWS Bedrock経由で7つのフロンティアLSMを評価し、スケーリング分析のために4つのスモール/メジウムモデル(3-12B)を追加しました。
  論文  参考訳（メタデータ） (2026-05-28T10:31:37Z)
• BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs [0.0]
  ゼロショットテキスト分類(ZSC)は、コストのかかるタスク固有のアノテーションを排除することを約束する。 テキスト埋め込みモデル、リランカ、命令調整型大規模言語モデル(LLM)の最近の進歩は、NLIベースのアーキテクチャの優位性に挑戦している。 我々は、感情、トピック、意図、感情の分類にまたがる22の公開データセットの総合ベンチマークであるBTZSCを紹介する。
  論文  参考訳（メタデータ） (2026-03-12T14:43:20Z)
• Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain [0.0]
  本稿では,トルコの法律ドメインのための専門言語モデルを開発するためのフレームワークであるMecellemモデルを提案する。 Scratchから事前訓練されたエンコーダモデル:ModernBERTベースの双方向エンコーダをトルコ支配の112億トークンのコーパスで事前訓練し、(2)継続事前トレーニング(CPT)によるデコーダモデル:Qwen3-1.7BとQwen3-4Bをトルコの法域に適応させた。
  論文  参考訳（メタデータ） (2026-01-22T14:41:32Z)
• LegalEval-Q: A New Benchmark for The Quality Evaluation of LLM-Generated Legal Text [0.0]
  我々は,明快さ,コヒーレンス,用語に基づく法文の質を評価する回帰モデルを構築した。 まず、モデルの品質レベルが14億のパラメータから外れ、限界的な改善は72億のパラメータで2.7%だけである。
  論文  参考訳（メタデータ） (2025-05-30T17:30:18Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
  本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。 そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-11-18T06:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。