論文の概要: PARAMANU-AYN: An Efficient Novel Generative and Instruction-tuned Language Model for Indian Legal Case Documents
- arxiv url: http://arxiv.org/abs/2403.13681v1
- Date: Wed, 20 Mar 2024 15:39:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:28:26.774989
- Title: PARAMANU-AYN: An Efficient Novel Generative and Instruction-tuned Language Model for Indian Legal Case Documents
- Title(参考訳): PARAMANU-AYN:インド法ケース文書の効率的な生成・指導訓練言語モデル
- Authors: Mitodru Niyogi, Arnab Bhattacharya,
- Abstract要約: パラマヌ・アイン(Paramanu-Ayn)は、インド最高裁判所、インド憲法、インド刑法典の事例文書にのみ基づく言語モデルである。
我々のモデルはCPU上で動作し、42.46トークン/秒のCPU推論速度を達成した。
- 参考スコア(独自算出の注目度): 3.9018931027384056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present PARAMANU-AYN, a language model based exclusively on case documents of the Supreme Court of India, the Constitution of India, and the Indian Penal Code. The novel Auto Regressive (AR) decoder based model is pretrained from scratch at a context size of 8192. We evaluated our pretrained legal model on perplexity metrics. We also instruction-tuned our pretrained model on a set of 10,763 instructions covering various legal tasks such as legal reasoning, judgement explanation, legal clause generation, legal drafting, legal contract drafting, case summarization, constitutional question-answering, etc. We also evaluated the responses of prompts for instruction-tuned models by GPT-3.5-Turbo on clarity, relevance, completeness, and legal reasoning metrics in a scale of 10. Our model can be run on CPU and achieved 42.46 tokens/sec CPU inference speed. We found that our models, despite not being pretrained on legal books, various legal contracts, and legal documents, were able to learn the domain knowledge required for drafting various legal contracts and legal clauses, and generalize to draft legal contracts and legal clauses with limited instruction tuning. Hence, we conclude that for a strong domain-specialized generative language model (such as legal), very large amounts of data are not required to develop models from scratch. We believe that this work is the first attempt to make a dedicated generative legal language model from scratch for Indian Supreme Court jurisdiction or in legal NLP overall. We plan to release our Paramanu-Ayn model at https://www.bharatgpts.com.
- Abstract(参考訳): 本稿では,インド最高裁判所,インド憲法,インド刑法典の事例文書のみに基づく言語モデルであるPARAMANU-AYNを紹介する。
新規なAuto Regressive (AR)デコーダベースのモデルは、コンテキストサイズ8192でスクラッチから事前訓練されている。
難易度指標に基づいて事前訓練した法モデルを評価した。
また, 法的理由づけ, 判断説明, 法的条項の生成, 法的契約起草, 訴訟要約, 立憲質問回答など, さまざまな法的課題をカバーする10,763の指導を指導した。
また, GPT-3.5-Turbo による指導指導モデルに対する指示応答の評価を行った。
我々のモデルはCPU上で動作し、42.46トークン/秒のCPU推論速度を達成した。
我々のモデルは,法律書,諸法契約,法律文書に事前訓練を受けていないにもかかわらず,諸法契約及び法条項の起草に必要なドメイン知識を習得し,限定的な指導指導による法律契約及び法条項の起草を一般化できることが判明した。
したがって、強力なドメイン特化生成言語モデル(法律など)では、スクラッチからモデルを開発するのに非常に大量のデータを必要としないと結論付けている。
この研究は、インド最高裁判所の管轄下や法的NLP全体のために、スクラッチから専用の生成法的言語モデルを作る最初の試みであると考えています。
Paramanu-Ayn モデルを https://www.bharatgpts.com でリリースする予定です。
関連論文リスト
- Leveraging open-source models for legal language modeling and analysis: a case study on the Indian constitution [0.0]
本稿では,Hugging Faceのオープンソースモデルを用いた法言語モデリング(LLM)と解析の新たなアプローチを提案する。
私たちはLangChainとSentence TransformersによるHugging Faceの埋め込みを活用しています。
次に、インド国憲法の知見を抽出し、このモデルの応用を実証する。
論文 参考訳(メタデータ) (2024-04-10T05:35:47Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2024-03-27T10:40:14Z) - Towards Explainability in Legal Outcome Prediction Models [64.00172507827499]
我々は、前例が法的NLPモデルの説明可能性を促進する自然な方法であると主張している。
法的な先例の分類法を開発することで、人間の判断と神経モデルを比較することができる。
モデルが合理的に結果を予測することを学習する一方で、前例の使用は人間の判断とは違い、ということがわかりました。
論文 参考訳(メタデータ) (2024-03-25T15:15:41Z) - SLJP: Semantic Extraction based Legal Judgment Prediction [0.0]
LJP(Lawal Judgment Prediction)は、像、刑期、刑期などの法的要素を推奨する司法支援システムである。
既存のインドのモデルのほとんどは、決定に影響を及ぼす事実記述(FD)に埋め込まれた意味論に十分に集中していなかった。
提案した意味抽出に基づく LJP (SLJP) モデルは, 複雑な非構造化の判例文書理解のための事前学習型変換器の利点を提供する。
論文 参考訳(メタデータ) (2023-12-13T08:50:02Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T10:47:01Z) - Do Charge Prediction Models Learn Legal Theory? [59.74220430434435]
我々は、信頼できる電荷予測モデルが法的理論を考慮に入れるべきであると主張している。
本稿では,この課題に従わなければならない信頼に値するモデルの3つの原則を提案する。
以上の結果から,既存の電荷予測モデルはベンチマークデータセットの選択的原理に合致するが,そのほとんどが十分な感度が得られず,無害の予測を満たさないことが示唆された。
論文 参考訳(メタデータ) (2022-10-31T07:32:12Z) - Pre-trained Language Models for the Legal Domain: A Case Study on Indian
Law [7.366081387295463]
私たちは、インドの法律データに基づいて、人気のある2つの法的PLM(LegalBERTとCaseLawBERT)を再訓練し、インドの法文に基づく語彙でモデルをゼロからトレーニングします。
我々は,新たなドメイン(インド文)の性能向上だけでなく,原ドメイン(ヨーロッパ文,イギリス文)の性能向上にも留意する。
論文 参考訳(メタデータ) (2022-09-13T15:01:11Z) - LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal
Statute Identification from Indian Legal Documents [10.059041122060686]
法的法規識別 (LSI) は、法規の特定の記述や訴訟の証拠に関連する法規を特定することを目的としている。
既存の方法は、そのようなタスクを導くために、Factsと法的な記事のテキストコンテンツのみを利用する。
我々は、LSIタスクのためのテキストと法的な引用ネットワークの両方を利用するための第一歩を踏み出す。
論文 参考訳(メタデータ) (2021-12-29T18:39:35Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。