論文の概要: MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer

• arxiv url: http://arxiv.org/abs/2005.00052v3
• Date: Tue, 6 Oct 2020 10:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-08 04:50:50.028699
• Title: MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer
• Title（参考訳）: MAD-X:マルチタスク言語間転送のためのアダプタベースのフレームワーク
• Authors: Jonas Pfeiffer, Ivan Vuli\'c, Iryna Gurevych, Sebastian Ruder
• Abstract要約: 我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
• 参考スコア（独自算出の注目度）: 136.09386219006123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main goal behind state-of-the-art pre-trained multilingual models such as multilingual BERT and XLM-R is enabling and bootstrapping NLP applications in low-resource languages through zero-shot or few-shot cross-lingual transfer. However, due to limited model capacity, their transfer performance is the weakest exactly on such low-resource languages and languages unseen during pre-training. We propose MAD-X, an adapter-based framework that enables high portability and parameter-efficient transfer to arbitrary tasks and languages by learning modular language and task representations. In addition, we introduce a novel invertible adapter architecture and a strong baseline method for adapting a pre-trained multilingual model to a new language. MAD-X outperforms the state of the art in cross-lingual transfer across a representative set of typologically diverse languages on named entity recognition and causal commonsense reasoning, and achieves competitive results on question answering. Our code and adapters are available at AdapterHub.ml
• Abstract（参考訳）: 多言語BERTやXLM-Rのような最先端の訓練済み多言語モデルの背後にある主な目標は、ゼロショットまたは少数ショットのクロスリンガル転送を通じて、低リソース言語でのNLPアプリケーションを有効化およびブートストラップすることである。 しかしながら、モデルキャパシティの制限により、それらの転送性能は、事前トレーニング中に見つからない低リソース言語や言語において、正確には最も弱い。 モジュール言語とタスク表現を学習することにより、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 さらに,学習済みの多言語モデルを新しい言語に適応するための,新しい非可逆アダプタアーキテクチャと強力なベースライン手法を導入する。 mad-xは、名前付きエンティティ認識と因果共通性推論において、タイプ論的に多様な言語の代表的集合を横断する言語間移動における芸術の状態を上回り、質問応答における競争結果を達成する。 私たちのコードとアダプタはAdapterHub.mlで利用可能です。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Cross-Lingual Transfer with Target Language-Ready Task Adapters [66.5336029324059]
  MAD-Xフレームワークの拡張であるBAD-Xは、MAD-Xのモジュラリティを犠牲にして転送を改善する。 我々は、ターゲット言語に適応したタスクアダプタを微調整することで、両方の世界を最大限に活用することを目指している。
  論文  参考訳（メタデータ） (2023-06-05T10:46:33Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。