論文の概要: PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation?

• arxiv url: http://arxiv.org/abs/2403.13681v2
• Date: Thu, 03 Oct 2024 16:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 17:53:28.290648
• Title: PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation?
• Title（参考訳）: PARAMANU-AYN: 法的ドメイン適応のためのLLMのスクラッチまたは連続プレトレーニング
• Authors: Mitodru Niyogi, Arnab Bhattacharya,
• Abstract要約: パラマヌ・アイン(Paramanu-Ayn)は、インドの訴訟文書に特化して訓練された法律言語モデルのコレクションである。 Paramanu-Aynは1つのGPU上でわずか185時間、コンテキストサイズ8192のスクラッチから事前トレーニングされた。
• 参考スコア（独自算出の注目度）: 3.9018931027384056
• License:
• Abstract: In this paper, we present Paramanu-Ayn, a collection of legal language models trained exclusively on Indian legal case documents. This 97-million-parameter Auto-Regressive (AR) decoder-only model was pretrained from scratch with a context size of 8192 on a single GPU for just 185 hours, achieving an efficient MFU of 41.35. We also developed a legal domain specialized BPE tokenizer. We evaluated our model using perplexity and zero-shot tasks: case judgment prediction with explanation and abstractive case summarization. Paramanu-Ayn outperformed Llama-2 7B and Gemini-Pro in case judgment prediction with explanation task on test accuracy by nearly 2 percentage points, despite being 72 times smaller. In zero-shot abstractive summarization, it surpassed decoder-only LLMs generating fixed-length summaries (5000 tokens) by over 10 percentage points in BLEU and METEOR metrics, and by nearly 4 percentage points in BERTScore. Further evaluations on zero-shot commonsense and mathematical benchmarks showed that Paramanu-Ayn excelled despite being trained exclusively on legal documents, outperforming Llama-1, Llama-2, and Falcon on AGIEVAL-AQuA-RAT and AGIEVAL-SAT-Math tasks. We also instruction-tuned our model on 10,763 diverse legal tasks, including legal clause generation, legal drafting, case summarization, etc. The Paramanu-Ayn-instruct model scored above 8 out of 10 in clarity, relevance, completeness, and legal reasoning metrics by GPT-3.5-Turbo. We found that our models, were able to learn drafting knowledge and generalize to draft legal contracts and legal clauses with limited instruction-tuning. Hence, we conclude that for a strong domain-specialized generative language model (such as legal), domain specialized pretraining from scratch is more cost effective, environmentally friendly, and remains competitive with larger models or even better than adapting LLMs for legal domain tasks.
• Abstract（参考訳）: 本稿では,インドの判例文書に特化して訓練された法律言語モデルのコレクションであるParamanu-Aynを紹介する。 この97万パラメータのオートレグレッシブ(AR)デコーダのみのモデルは、1つのGPU上でわずか185時間でコンテキストサイズ8192のスクラッチから事前訓練され、効率的なMFUは41.35である。 また、法域特化BPEトークン化器を開発した。 我々は,パープレキシティとゼロショットタスクを用いたモデルの評価を行った。 Paramanu-Ayn は Llama-2 7B と Gemini-Pro を72倍の精度で評価した。 ゼロショット抽象要約では、BLEUとMETEORで10ポイント以上、BERTScoreでは4ポイント近く、デコーダのみのLCMで固定長のサマリー(5000トークン)を生成する。 ゼロショットコモンセンスと数学的ベンチマークのさらなる評価は、パラマヌ・アインが法的文書にのみ訓練されているにもかかわらず、AGIEVAL-AQuA-RATおよびAGIEVAL-SAT-Mathタスクにおいて、Llama-1、Llama-2、Falconより優れていることを示した。 また、法定条項作成、法的起草、事例要約等を含む10,763件の多種多様な法的タスクに対して、当社のモデルを指導した。 Paramanu-Ayn-インストラクタモデルは、GPT-3.5-Turboによる明確さ、妥当性、完全性、および法的推論の指標において、10のうち8以上をスコアした。 我々のモデルでは、起草知識を習得し、法的な契約や法的な条項の起草を限定的な指導訓練で一般化できることがわかりました。 したがって、強力なドメイン特化生成言語モデル(法律など)では、スクラッチからのドメイン特化事前訓練の方がコスト効率が高く、環境に優しく、より大きなモデルと競合し、法的ドメインタスクにLLMを適用するよりも優れていると結論付けている。

関連論文リスト

• Lawma: The Power of Specialization for Legal Tasks [18.45967769381101]
  我々は260の法的テキスト分類タスクを研究し、ほぼ全て機械学習コミュニティに新しい。 軽量で微調整されたLlama 3モデルは、通常2桁のパーセンテージポイントで、ほぼ全てのタスクにおいてGPT-4をはるかに上回る。 より大型のモデルの方が、より小型のモデルよりも微調整に反応することがわかった。
  論文  参考訳（メタデータ） (2024-07-23T16:23:04Z)
• Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
  我々は法学哲学に基づく法学推論の分類について研究する。 我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。 生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
  論文  参考訳（メタデータ） (2023-10-27T19:27:59Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Automated Refugee Case Analysis: An NLP Pipeline for Supporting Legal Practitioners [0.0]
  本稿では,訴訟から対象情報を検索,処理,抽出するためのエンドツーエンドパイプラインを提案する。 カナダにおける難民法を事例として,未研究の法域を調査した。
  論文  参考訳（メタデータ） (2023-05-24T19:37:23Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• Toward Adversarial Training on Contextualized Language Representation [78.39805974043321]
  本稿では, PLMエンコーダが出力する文脈化言語表現の観点から, 対人訓練(AT)について検討する。 そこで我々は, テキストコンテキスト適応型表現-逆訓練(CreAT)を提案し, 攻撃を明示的に最適化し, エンコーダの文脈化表現を逸脱させる。 CreATは幅広いタスクで一貫したパフォーマンス向上を実現しており、エンコーダ部分のみを下流タスクに保持する言語事前トレーニングに有効であることが証明されている。
  論文  参考訳（メタデータ） (2023-05-08T08:56:51Z)
• Understand Legal Documents with Contextualized Large Language Models [16.416510744265086]
  本稿では,SemEval-2023タスク6について,法的テキストの理解について述べる。 我々はまず,文内および文間両方の包括的文脈情報を考慮した法-BERT-HSLNモデルを開発した。 次に、法的なエンティティを認識するために、法的なコンテキスト化とエンティティ認識を備えた法的なLUKEモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-03-21T18:48:11Z)
• Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
  このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。 最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
  論文  参考訳（メタデータ） (2023-02-18T09:26:35Z)
• Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
  このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。 SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
  論文  参考訳（メタデータ） (2022-12-04T15:36:18Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)
• When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset [2.0924876102146714]
  53,000以上の選択質問からなる新しいデータセットを提示し、引用されたケースの保持状況を特定する。 タスクがプリトレーニングコーパスと十分な類似性を示すと、ドメイン事前トレーニングが保証される可能性がある。 我々の研究結果は、研究者がいつリソース集約的な事前訓練を行うべきかを知らせ、Transformerベースのアーキテクチャも、異なる法的言語を示唆する埋め込みを学習することを示す。
  論文  参考訳（メタデータ） (2021-04-18T00:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。