論文の概要: Match the Script, Adapt if Multilingual: Analyzing the Effect of
Multilingual Pretraining on Cross-lingual Transferability
- arxiv url: http://arxiv.org/abs/2203.10753v1
- Date: Mon, 21 Mar 2022 06:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 15:55:26.202861
- Title: Match the Script, Adapt if Multilingual: Analyzing the Effect of
Multilingual Pretraining on Cross-lingual Transferability
- Title(参考訳): 多言語対応型スクリプトのマッチング:多言語事前学習が言語間移動性に及ぼす影響の分析
- Authors: Yoshinari Fujinuma, Jordan Boyd-Graber, Katharina Kann
- Abstract要約: 事前訓練された多言語モデルは、目に見えない言語でもゼロショット学習を可能にする。
事前学習中の言語に対するゼロショット学習に事前学習言語数がどのような影響を及ぼすかは明らかでない。
- 参考スコア(独自算出の注目度): 26.553524219316188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained multilingual models enable zero-shot learning even for unseen
languages, and that performance can be further improved via adaptation prior to
finetuning. However, it is unclear how the number of pretraining languages
influences a model's zero-shot learning for languages unseen during
pretraining. To fill this gap, we ask the following research questions: (1) How
does the number of pretraining languages influence zero-shot performance on
unseen target languages? (2) Does the answer to that question change with model
adaptation? (3) Do the findings for our first question change if the languages
used for pretraining are all related? Our experiments on pretraining with
related languages indicate that choosing a diverse set of languages is crucial.
Without model adaptation, surprisingly, increasing the number of pretraining
languages yields better results up to adding related languages, after which
performance plateaus. In contrast, with model adaptation via continued
pretraining, pretraining on a larger number of languages often gives further
improvement, suggesting that model adaptation is crucial to exploit additional
pretraining languages.
- Abstract(参考訳): 事前訓練された多言語モデルにより、目に見えない言語でもゼロショット学習が可能となり、微調整前の適応によりパフォーマンスがさらに向上する。
しかし,事前学習中に見つからない言語に対するゼロショット学習に,事前学習言語の数がどのように影響するかは不明である。
このギャップを埋めるために,(1)未熟な対象言語において,事前学習言語の数はゼロショット性能にどのように影響するか?
2)モデル適応によってその疑問に対する答えは変わりますか?
3) 事前学習に使用する言語がすべて関連している場合,最初の質問に対する回答は変化するか?
関連言語を用いた事前学習実験は,多様な言語を選択することが重要であることを示す。
モデル適応がなければ、驚くほど、事前学習言語の増加は、関連する言語を追加し、パフォーマンスが高騰する結果をもたらす。
対照的に、継続事前訓練によるモデル適応では、より多くの言語で事前訓練を行うことで、さらなる事前訓練言語を活用するためにモデル適応が不可欠であることが示唆される。
関連論文リスト
- Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is
Needed? [45.10397051167781]
非英語設定で適切なパフォーマンスを達成するためには、言語間転送が重要である。
英語のみの微調整と比較すると、3つの言語での多言語指導はモデルの言語間変換能力を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-20T00:49:52Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Comparison of Multilingual Self-Supervised and Weakly-Supervised Speech
Pre-Training for Adaptation to Unseen Languages [40.41642013737395]
近年のXLS-RやWhisperのようなモデルでは、約100の言語から音声を事前学習することで、多言語音声技術がより使いやすくなっている。
事前学習中に見つからない言語にどのモデルを適応させるかを理解することを目的としている。
13の見知らぬ言語と18の見つからない言語で、両方のモデルを微調整します。
論文 参考訳(メタデータ) (2023-05-21T23:53:12Z) - Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。
我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。
1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文 参考訳(メタデータ) (2023-03-14T17:05:08Z) - Language-Family Adapters for Low-Resource Multilingual Neural Machine
Translation [129.99918589405675]
自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。
マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。
言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
論文 参考訳(メタデータ) (2022-09-30T05:02:42Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。
我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文 参考訳(メタデータ) (2022-05-19T15:49:19Z) - Lifting the Curse of Multilinguality by Pre-training Modular
Transformers [72.46919537293068]
多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。
言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。
我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
論文 参考訳(メタデータ) (2022-05-12T17:59:56Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。