論文の概要: SynLexLM: Scaling Legal LLMs with Synthetic Data and Curriculum Learning

• arxiv url: http://arxiv.org/abs/2504.18762v2
• Date: Tue, 29 Apr 2025 23:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.975145
• Title: SynLexLM: Scaling Legal LLMs with Synthetic Data and Curriculum Learning
• Title（参考訳）: SynLexLM: 合成データとカリキュラム学習による法的LLMのスケーリング
• Authors: Ojasw Upadhyay, Abishek Saravanakumar, Ayman Ismail,
• Abstract要約: 法的なLLMを効率的に事前訓練するための新しいアプローチであるSynLexLMを紹介する。 本手法では, 簡単な法的テキストから複雑なクエリへ, 合成データ拡張と組み合わせて, カリキュラム学習を採用する。 予備的な作業は、法的推論を反映した合成QAペアの生成である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) are powerful but often require extensive fine-tuning and large datasets for specialized domains like law. General-purpose pre-training may not capture legal nuances, and acquiring sufficient legal data is challenging. We introduce SynLexLM, a novel approach to efficiently pre-train a legal LLM. Our method employs curriculum learning, progressing from simple to complex legal texts and queries, combined with synthetic data augmentation using models like Gemini Pro to address data scarcity. We aim to achieve improved performance on legal benchmarks (BigLaw-Bench, EUR-Lex-Sum) compared to traditional models and fine-tuned versions. Preliminary work involves generating synthetic QA pairs reflecting legal reasoning. This work aims to enhance legal document analysis and research tools, potentially democratizing access to advanced legal AI.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力だが、法律のような専門分野のための大規模な微調整と大規模なデータセットを必要とすることが多い。 汎用的な事前訓練は法的なニュアンスを捉えず、十分な法的データを取得することは困難である。 法的なLLMを効率的に事前訓練するための新しいアプローチであるSynLexLMを紹介する。 本手法では, 簡単な法的テキストから複雑なクエリへと進化するカリキュラム学習と, Gemini Pro などのモデルを用いた合成データ拡張を併用して, データの不足に対処する。 従来のモデルや微調整版と比較して,法的なベンチマーク(BigLaw-Bench, EUR-Lex-Sum)の性能向上を目指す。 予備的な作業は、法的推論を反映した合成QAペアの生成である。 この研究は、法律文書の分析と研究ツールを強化し、高度な法的なAIへのアクセスを民主化することを目的としている。

関連論文リスト

• Aplicação de Large Language Models na Análise e Síntese de Documentos Jurídicos: Uma Revisão de Literatura [0.0]
  大規模言語モデル (LLMs) は、法的文書の分析と合成を最適化するためにますます使われている。 本研究の目的は,LLMに適用された技術の現状を法的文脈で把握するために,系統的な文献レビューを行うことである。
  論文  参考訳（メタデータ） (2025-04-01T12:34:00Z)
• LawGPT: Knowledge-Guided Data Generation and Its Application to Legal LLM [41.31814587755912]
  本稿では,法的推論のための知識誘導型データ生成フレームワークを提案する。 当社の枠組みは,法的な知識を活用して生成の多様性を高めることを可能にし,改良と検証プロセスを導入する。 我々の学習モデルであるLawGPTは、既存の法的なLLMよりも優れており、プロプライエタリなLLMに匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2025-02-10T15:40:35Z)
• Methods for Legal Citation Prediction in the Age of LLMs: An Australian Law Case Study [9.30538764385435]
  我々は、関連する法律や前例を正しく特定し、引用することが重要であるオーストラリアの法律文脈における法的引用予測の問題に焦点を当てる。 本研究は, ドメイン固有の事前訓練だけでは, 法定事前訓練後であっても, 良好な励磁精度が得られていないことを示唆する。 対照的に、タスク固有のデータセットのインストラクションチューニングは、すべての設定で最高の結果に達するパフォーマンスを劇的に向上させます。
  論文  参考訳（メタデータ） (2024-12-09T07:46:14Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
  法的な応用に特化して設計された言語モデルを開発した。 我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-28T19:32:18Z)
• Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs [67.54302101989542]
  判例検索は、ある事実記述の参照として類似した事例を提供することを目的としている。 既存の作業は主に、長いクエリを使ったケース・ツー・ケースの検索に重点を置いている。 データスケールは、既存のデータハングリーニューラルネットワークのトレーニング要件を満たすには不十分である。
  論文  参考訳（メタデータ） (2024-10-09T06:26:39Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [159.21914121143885]
  推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。 SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。 データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
  論文  参考訳（メタデータ） (2023-08-08T17:58:15Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。