論文の概要: MultiLegalPile: A 689GB Multilingual Legal Corpus
- arxiv url: http://arxiv.org/abs/2306.02069v2
- Date: Tue, 6 Jun 2023 06:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 12:10:39.010900
- Title: MultiLegalPile: A 689GB Multilingual Legal Corpus
- Title(参考訳): MultiLegalPile: 689GBの多言語法的コーパス
- Authors: Joel Niklaus, Veton Matoshi, Matthias St\"urmer, Ilias Chalkidis,
Daniel E. Ho
- Abstract要約: 我々は17の管轄区域から24の言語で689GBのコーパスであるMultiLegalPileをリリースした。
2つのRoBERTaモデルと1つのLongformerモデルを多言語で事前学習し、各言語固有のサブセット上で24の単言語モデルを作成し、LEXTREMEで評価する。
我々の多言語モデルは、LEXTREME上の新しいSotAとLexGLUE上の英語モデルを設定した。
- 参考スコア(独自算出の注目度): 8.666073445759158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large, high-quality datasets are crucial for training Large Language Models
(LLMs). However, so far, there are few datasets available for specialized
critical domains such as law and the available ones are often only for the
English language. We curate and release MultiLegalPile, a 689GB corpus in 24
languages from 17 jurisdictions. The MultiLegalPile corpus, which includes
diverse legal data sources with varying licenses, allows for pretraining NLP
models under fair use, with more permissive licenses for the Eurlex Resources
and Legal mC4 subsets. We pretrain two RoBERTa models and one Longformer
multilingually, and 24 monolingual models on each of the language-specific
subsets and evaluate them on LEXTREME. Additionally, we evaluate the English
and multilingual models on LexGLUE. Our multilingual models set a new SotA on
LEXTREME and our English models on LexGLUE. We release the dataset, the trained
models, and all of the code under the most open possible licenses.
- Abstract(参考訳): 大規模かつ高品質なデータセットは、大規模言語モデル(LLM)のトレーニングに不可欠である。
しかし、今のところ、法のような専門的な重要なドメインで利用可能なデータセットはほとんどなく、利用可能なデータセットは英語のみに限られることが多い。
我々は17の管轄区域から24の言語で689GBのコーパスであるMultiLegalPileをキュレートしてリリースする。
MultiLegalPile corpus は様々なライセンスを持つ様々な法的データソースを含み、Erlex Resources および Legal mC4 サブセットのより寛容なライセンスを持つ、公正な使用下で NLP モデルを事前訓練することができる。
2つのrobertaモデルと1つのlongformer多言語モデルと24個の単言語モデルをそれぞれ言語固有のサブセットで事前学習し,lextremeで評価した。
さらに、LexGLUE上での英語および多言語モデルの評価を行った。
我々の多言語モデルは、LEXTREME上の新しいSotAとLexGLUE上の英語モデルを設定した。
私たちはデータセット、トレーニングされたモデル、そして最もオープンなライセンスの下ですべてのコードをリリースします。
関連論文リスト
- The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122
Language Variants [82.6462524808751]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。
このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-08-31T17:43:08Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳(メタデータ) (2023-07-12T09:00:37Z) - XSemPLR: Cross-Lingual Semantic Parsing in Multiple Natural Languages
and Meaning Representations [25.50509874992198]
Cross-Lingual Semantic Parsingは、複数の自然言語のクエリを意味表現に変換することを目的としている。
既存のCLSPモデルは個別に提案され、限られたタスクやアプリケーションのデータセット上で評価される。
XSemPLRは、22の自然言語と8つの意味表現を特徴とする言語間意味解析のための統一的なベンチマークである。
論文 参考訳(メタデータ) (2023-06-07T01:09:37Z) - MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset [0.0]
文境界検出(SBD)は自然言語処理の基礎的構成要素の一つである。
我々は6言語で130万以上の注釈文からなる多言語法的データセットをキュレートした。
CRF, BiLSTM-CRF, トランスフォーマーに基づく単言語モデルと多言語モデルの訓練, 試験を行い, 最先端性能を実証した。
論文 参考訳(メタデータ) (2023-05-02T05:52:03Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-29T08:53:22Z) - MultiEURLEX -- A multi-lingual and multi-label legal document
classification dataset for zero-shot cross-lingual transfer [13.24356999779404]
法律文書のトピック分類のための多言語データセットであるMulti-EURLEXを紹介する。
データセットは、正式に23言語に翻訳された65kの欧州連合(EU)の法律で構成され、EUROVOC分類の複数のラベルが注釈付けされている。
そこで、ある言語(ソース)の注釈付きトレーニング文書を利用して、別の言語(ターゲット)のドキュメントを分類します。
論文 参考訳(メタデータ) (2021-09-02T12:52:55Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning [77.33262578776291]
これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。
多言語翻訳モデルは多言語微調整により作成可能であることを示す。
事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
論文 参考訳(メタデータ) (2020-08-02T05:36:55Z) - CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。
11,000人以上の話者と60以上のアクセントで多様化した。
CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
論文 参考訳(メタデータ) (2020-02-04T14:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。