論文の概要: Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer models

• arxiv url: http://arxiv.org/abs/2111.14192v1
• Date: Sun, 28 Nov 2021 16:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 14:54:33.890509
• Title: Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer models
• Title（参考訳）: トランスフォーマーモデルを用いた法領域におけるゼロショット言語間伝達
• Authors: Zein Shaheen, Gerhard Wohlgenannt, Dmitry Muromtsev
• Abstract要約: マルチラベルテキスト分類において,英語からフランス語,ドイツ語へのゼロショット・クロスランガル変換について検討した。 我々は、法律文書のトピック分類のための英語データセットであるEURLEX57Kデータセットを拡張し、フランス語とドイツ語の公式翻訳を行った。 多言語事前訓練モデル(M-DistilBERT, M-BERT)の言語モデル微調整により, フランス語とドイツ語の相対的改善が32.0-34.94%, 76.15-87.54%となることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Zero-shot cross-lingual transfer is an important feature in modern NLP models and architectures to support low-resource languages. In this work, We study zero-shot cross-lingual transfer from English to French and German under Multi-Label Text Classification, where we train a classifier using English training set, and we test using French and German test sets. We extend EURLEX57K dataset, the English dataset for topic classification of legal documents, with French and German official translation. We investigate the effect of using some training techniques, namely Gradual Unfreezing and Language Model finetuning, on the quality of zero-shot cross-lingual transfer. We find that Language model finetuning of multi-lingual pre-trained model (M-DistilBERT, M-BERT) leads to 32.0-34.94%, 76.15-87.54\% relative improvement on French and German test sets correspondingly. Also, Gradual unfreezing of pre-trained model's layers during training results in relative improvement of 38-45% for French and 58-70% for German. Compared to training a model in Joint Training scheme using English, French and German training sets, zero-shot BERT-based classification model reaches 86% of the performance achieved by jointly-trained BERT-based classification model.
• Abstract（参考訳）: ゼロショットの言語間転送は、低リソース言語をサポートするため、現代のNLPモデルとアーキテクチャにおいて重要な機能である。 本研究では,英語からフランス語,ドイツ語へのゼロショット・クロスランガル変換を多ラベルテキスト分類法を用いて研究し,英語学習セットを用いて分類器を訓練し,フランス語とドイツ語のテストセットを用いてテストする。 我々は、法律文書のトピック分類のための英語データセットであるEURLEX57Kデータセットを拡張し、フランス語とドイツ語の公式翻訳を行った。 ゼロショット・クロスランガル転送の品質に及ぼすグラデーショナル・アンフリーズ法と言語モデルファインタニング法(Gradual Unfreezing and Language Model Finetuning)の適用効果を検討した。 多言語事前学習モデル(M-DistilBERT, M-BERT)の言語モデル微調整により,フランス語とドイツ語の相対的改善が32.0-34.94%,76.15-87.54.%となることがわかった。 また、訓練中の訓練済みモデルのレイヤーの段階的な凍結は、フランス語では38-45%、ドイツ語では58-70%の相対的な改善をもたらす。 英語、フランス語、ドイツ語の訓練セットを用いた合同訓練のモデルと比較すると、ゼロショットのBERTベースの分類モデルは、共同訓練されたBERTベースの分類モデルによって達成された性能の86%に達する。

関連論文リスト

• Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language [34.54405113575568]
  1つの高品質なソース言語から機械翻訳されたテキストは、多言語モデルの事前学習に大きく貢献する。 クアトロLLMは、クローズドデータを用いて訓練された最先端の多言語モデルと一致し、より優れることを示す。 私たちは、hf.co/britllm/CuatroLLMでオープンライセンスの下で、コーパス、モデル、トレーニングパイプラインをリリースしています。
  論文  参考訳（メタデータ） (2024-10-31T14:09:50Z)
• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
  本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。 そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-11-18T06:48:00Z)
• Learning Compact Metrics for MT [21.408684470261342]
  最先端多言語モデルであるRemBERTを用いて,多言語性とモデルキャパシティのトレードオフについて検討する。 モデルのサイズが実際に言語間移動のボトルネックであることを示し、蒸留がこのボトルネックにどのように対処できるかを示す。 提案手法は,バニラ微調整よりも最大10.5%向上し,パラメータの3分の1しか使用せず,RemBERTの性能の92.6%に達する。
  論文  参考訳（メタデータ） (2021-10-12T20:39:35Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Multilingual BERT Post-Pretraining Alignment [26.62198329830013]
  本稿では,複数言語の文脈埋め込みを事前学習のステップとして整列する簡単な手法を提案する。 並列データを用いて,最近提案された翻訳言語モデリングの目的を通じて,単語レベルでの埋め込みを整列する。 また、下流タスクで微調整された場合、文レベルのコードスイッチングを英語で行う。
  論文  参考訳（メタデータ） (2020-10-23T17:14:41Z)
• Language-agnostic BERT Sentence Embedding [14.241717104817713]
  単言語および言語間表現の学習に最適な方法を組み合わせることで,多言語文の埋め込みを学習する方法を検討する。 事前学習した多言語言語モデルを導入することで,性能向上に必要な並列トレーニングデータの量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T17:58:42Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。