論文の概要: Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi

• arxiv url: http://arxiv.org/abs/2005.00318v1
• Date: Fri, 1 May 2020 11:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 22:51:38.949665
• Title: Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi
• Title（参考訳）: 多言語モデルが未知の方言に移行できるか? 北アフリカアラビジの事例研究
• Authors: Benjamin Muller and Benoit Sagot and Djam\'e Seddah
• Abstract要約: 本研究では,多言語モデルによる未知の方言の処理能力について検討する。 弊社のケーススタディは、北アフリカアラビアのユーザ生成を例に挙げる。 ゼロショットおよび教師なし適応シナリオでは、多言語言語モデルがそのような未知の方言に変換できることが示される。
• 参考スコア（独自算出の注目度）: 2.76240219662896
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Building natural language processing systems for non standardized and low resource languages is a difficult challenge. The recent success of large-scale multilingual pretrained language models provides new modeling tools to tackle this. In this work, we study the ability of multilingual language models to process an unseen dialect. We take user generated North-African Arabic as our case study, a resource-poor dialectal variety of Arabic with frequent code-mixing with French and written in Arabizi, a non-standardized transliteration of Arabic to Latin script. Focusing on two tasks, part-of-speech tagging and dependency parsing, we show in zero-shot and unsupervised adaptation scenarios that multilingual language models are able to transfer to such an unseen dialect, specifically in two extreme cases: (i) across scripts, using Modern Standard Arabic as a source language, and (ii) from a distantly related language, unseen during pretraining, namely Maltese. Our results constitute the first successful transfer experiments on this dialect, paving thus the way for the development of an NLP ecosystem for resource-scarce, non-standardized and highly variable vernacular languages.
• Abstract（参考訳）: 非標準化および低リソース言語のための自然言語処理システムの構築は難しい課題である。 最近の大規模多言語事前訓練言語モデルの成功は、これに対処するための新しいモデリングツールを提供する。 本研究では,多言語言語モデルによる未知の方言処理能力について検討する。 アラビア語とフランス語を頻繁に混同し、アラビア文字からラテン文字への非標準翻訳であるアラビア語で書かれた、資源が乏しいアラビア語の方言である。 音声タグ付けと依存性解析という2つのタスクに焦点をあてて、特に2つの極端な場合において、多言語言語モデルがそのような見当たらない方言に移行できるゼロショットおよび教師なし適応シナリオを示す。 (i)スクリプトをまたいで、現代標準アラビア語をソース言語として使用し、 (ii) 遠縁の言語で、事前訓練中に見えなくなる、すなわちマルタ語から。 本研究は,この方言における最初のトランスファー実験であり,資源スカルス,非標準言語,高可変言語のためのnlpエコシステムの開発に向けた方法である。

関連論文リスト

• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic [9.004920233490642]
  多言語BERT(mBERT)がアラビア語単言語データに漸進的に事前訓練されることは、トレーニング時間が少なく、我々のカスタム単言語単言語モデルと比較すると、同等の精度が得られることを示す。 次に,(1)少数の方言データを用いて連続的な微調整を行い,(2)アラビア語から英語への平行なデータと翻訳言語モデリング損失関数を探索する。
  論文  参考訳（メタデータ） (2022-11-08T02:51:57Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Multilingual Language Model Adaptive Fine-Tuning: A Study on African Languages [19.067718464786463]
  我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。 多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。 当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
  論文  参考訳（メタデータ） (2022-04-13T16:13:49Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models [2.457872341625575]
  大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。 このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
  論文  参考訳（メタデータ） (2020-10-24T10:15:03Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。