Fugu-MT 論文翻訳(概要): Discrete and Soft Prompting for Multilingual Models

論文の概要: Discrete and Soft Prompting for Multilingual Models

arxiv url: http://arxiv.org/abs/2109.03630v1
Date: Wed, 8 Sep 2021 13:22:59 GMT
ステータス: 処理完了
システム内更新日: 2021-09-09 20:40:10.677925
Title: Discrete and Soft Prompting for Multilingual Models
Title（参考訳）: 多言語モデルにおける離散と軟プロンプト
Authors: Mengjie Zhao, Hinrich Sch\"utze
Abstract要約: 離散的かつソフトなプロンプトは多言語の場合の微調整よりも優れていることを示す。また、英語以外の複数の言語でデータトレーニングを行うことで、優れたパフォーマンスを示す。
参考スコア（独自算出の注目度）: 4.30226515682283
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It has been shown for English that discrete and soft prompting perform strongly in few-shot learning with pretrained language models (PLMs). In this paper, we show that discrete and soft prompting perform better than finetuning in multilingual cases: Crosslingual transfer and in-language training of multilingual natural language inference. For example, with 48 English training examples, finetuning obtains 33.74% accuracy in crosslingual transfer, barely surpassing the majority baseline (33.33%). In contrast, discrete and soft prompting outperform finetuning, achieving 36.43% and 38.79%. We also demonstrate good performance of prompting with training data in multiple languages other than English.
Abstract（参考訳）: 英語では、離散的かつソフトなプロンプトが、事前訓練された言語モデル(PLM)を用いた数ショット学習において、強く機能することが示されている。本稿では,多言語話者の言語間移動と多言語自然言語推論の言語内学習において,離散的およびソフトなプロンプトが微調整よりも優れていることを示す。例えば、48の英語のトレーニング例において、ファインチューニングは33.74%の言語間転送精度を獲得し、大多数のベースライン(33.33%)をわずかに上回っている。対照的に、離散的かつソフトなプロンプトは微調整に優れ、36.43%と38.79%を達成した。また、英語以外の複数の言語でトレーニングデータをプロンプトする優れた性能を示す。

関連論文リスト

Cross-lingual transfer of multilingual models on low resource African Languages [0.20793001310272596]
単一の言語で訓練されたモノリンガルモデルは、ターゲット言語のニュアンスをよりよく捉えることができる。 AfriBERTは微調整後に最高88.3%の言語間精度を達成した。 BiGRUは83.3%の精度で最高のパフォーマンスのニューラルモデルとして登場した。
論文参考訳（メタデータ） (2024-09-17T08:05:40Z)
Poro 34B and the Blessing of Multilinguality [3.270981284471548]
Poro 34Bは、フィンランド語、英語、プログラミング言語の1兆トークンのために訓練された34億のパラメータモデルである。フィンランド語における既存モデルの能力を大幅に向上するモデルを,多言語学習アプローチにより生成できることが示される。
論文参考訳（メタデータ） (2024-04-02T11:34:12Z)
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information [21.250763472985824]
自己教師型多言語音声表現学習は,多言語自動音声認識の性能向上に成功している。しかし、教師付き学習と同様、多言語事前学習も言語干渉に悩まされる可能性がある。本稿では,補助言語情報を活用することで,自己教師付き多言語事前学習を改善するためのいくつかの手法を提案する。
論文参考訳（メタデータ） (2022-12-07T06:18:59Z)
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models [95.32691891392903]
本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
論文参考訳（メタデータ） (2022-10-22T05:48:02Z)
Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。これにより、大規模なデータセットで数十億の外国語トークンが生成される。そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文参考訳（メタデータ） (2022-04-17T23:56:54Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文参考訳（メタデータ） (2021-04-18T05:32:28Z)
Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
論文参考訳（メタデータ） (2021-04-17T21:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。