論文の概要: UniBERTs: Adversarial Training for Language-Universal Representations

• arxiv url: http://arxiv.org/abs/2503.12608v1
• Date: Sun, 16 Mar 2025 18:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:04.175135
• Title: UniBERTs: Adversarial Training for Language-Universal Representations
• Title（参考訳）: UniBERTs: 言語・ユニバーサル表現のための対人訓練
• Authors: Andrei-Marius Avram, Marian Lupaşcu, Dumitru-Clementin Cercel, Ionuţ Mironică, Ştefan Trăuşan-Matu,
• Abstract要約: UniBERTは大規模モデルの計算要求を減らすように設計されている。 UniBERTは107言語にまたがる厳格にキュレートされたウィキペディアコーパスで事前訓練されている。
• 参考スコア（独自算出の注目度）: 2.040558232678323
• License:
• Abstract: This paper presents UniBERT, a compact multilingual language model that leverages an innovative training framework integrating three components: masked language modeling, adversarial training, and knowledge distillation. Pre-trained on a meticulously curated Wikipedia corpus spanning 107 languages, UniBERT is designed to reduce the computational demands of large-scale models while maintaining competitive performance across various natural language processing tasks. Comprehensive evaluations on four tasks -- named entity recognition, natural language inference, question answering, and semantic textual similarity -- demonstrate that our multilingual training strategy enhanced by an adversarial objective significantly improves cross-lingual generalization. Specifically, UniBERT models show an average relative improvement of 7.72% over traditional baselines, which achieved an average relative improvement of only 1.17%, with statistical analysis confirming the significance of these gains (p-value = 0.0181). This work highlights the benefits of combining adversarial training and knowledge distillation to build scalable and robust language models, thereby advancing the field of multilingual and cross-lingual natural language processing.
• Abstract（参考訳）: 本稿では, マスク付き言語モデリング, 対人訓練, 知識蒸留という3つのコンポーネントを統合した, 革新的学習フレームワークを活用した, コンパクトな多言語言語モデルUniBERTを提案する。 UniBERTは、107言語にまたがる厳格にキュレートされたウィキペディアコーパスに基づいて事前訓練され、様々な自然言語処理タスク間の競争性能を維持しながら、大規模モデルの計算要求を減らすように設計されている。 4つのタスク(エンティティ認識、自然言語推論、質問応答、意味的テキスト類似性)に関する総合的な評価は、敵対的目的によって強化された多言語学習戦略が言語間一般化を著しく改善することを示す。 具体的には、UniBERTモデルは従来のベースラインよりも7.72%の平均的な相対的な改善を示し、その平均的な相対的な改善は1.17%に過ぎず、統計学的解析によりこれらのゲインの重要性が確認されている(p-value = 0.0181)。 この研究は、逆行訓練と知識蒸留を組み合わせることで、スケーラブルで堅牢な言語モデルを構築することの利点を強調し、多言語および多言語間自然言語処理の分野を前進させる。

関連論文リスト

• OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection [4.111899441919165]
  文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。 我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
  論文  参考訳（メタデータ） (2022-06-07T05:52:43Z)
• Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
  低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。 新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。 スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
  論文  参考訳（メタデータ） (2022-05-21T06:44:59Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish [4.473327661758546]
  本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。 多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。 提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
  論文  参考訳（メタデータ） (2021-05-04T20:16:17Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• Learning to Learn Morphological Inflection for Resource-Poor Languages [105.11499402984482]
  本稿では,メタラーニング問題として資源不足言語に対する形態的インフレクション(補題を表象形にマッピングする)の課題を提案する。 それぞれの言語を個別のタスクとして扱うことで、高速ソース言語からのデータを使ってモデルパラメータの集合を学習する。 3つのファミリーから29のターゲット言語を対象とする2つのモデルアーキテクチャの実験により、提案手法がすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-04-28T05:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。