This paper aims for a potential architectural breakthrough for multilingual
learning and asks: could different tasks from different languages be modeled in
a monolithic framework (without any task/language-specif ic module)? The benefit
of achieving this is not only that systems trained on low resources scenario
can be assisted by more other languages and tasks, but opening new doors for
future multilingual research. We approach this goal by developing a learning
framework Polyglot Prompt, where prompting methods are introduced to learn a
unified semantic space for different languages and tasks after proper
multilingual prompt engineering. Experimentally, we perform a comprehensive
evaluation on 6 tasks (topic classification, sentiment classification, named
entity recognition, question answering, natural language inference,
summarization), 24 datasets, and 49 languages, which shows the efficacy of
multilingual multitask prompting training and suggests several interesting
observations. e.g., English prompts are polyglots since directly applying them
to task samples in other languages could result in a better improvement. We
also present an interpretable multilingual evaluation methodology and show how
the proposed framework, multilingual multitask prompt training, works. We
release all datasets prompted in the best setting and will release our code
soon.
Abstract This paper aims for a potential architectural breakthrough for multilingual learning and asks: could different tasks from different languages be modeled in a monolithic framework (without any task/language-specific module)?
The benefit of achieving this is not only that systems trained on low resources scenario can be assisted by more other languages and tasks, but opening new doors for future multilingual research.
We approach this goal by developing a learning framework Polyglot Prompt, where prompting methods are introduced to learn a unified semantic space for different languages and tasks after proper multilingual prompt engineering.
Experimentally, we perform a comprehensive evaluation on 6 tasks (topic classification, sentiment classification, named entity recognition, question answering, natural language inference, summarization), 24 datasets, and 49 languages, which shows the efficacy of multilingual multitask prompting training and suggests several interesting observations.
We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works.
We release all datasets prompted in the best setting1 and will release our code soon.2
最高の設定1でトリガーされたすべてのデータセットをリリースし、すぐにコードをリリースします。
0.53
1 Introduction The emergence of multi-lingual pre-trained language models (Xue et al , 2021; Liu et al , 2020; Conneau et al , 2020; Conneau and Lample, 2019) enables different languages to be represented in a
1 はじめに 複数言語で事前訓練された言語モデルの出現(Xue et al , 2021; Liu et al , 2020; Conneau et al , 2020; Conneau and Lample, 2019)は、異なる言語をひとつの言語で表現できるようにする。
0.59
1We use DataLab (Xiao et al , 2022)
1 DataLab(Xiao et al , 2022)を使う
0.43
plify the load_dataset(’poly_prompt’)
load_dataset(’poly_prompt’)をplifyする
0.71
loading pythonic
pythonicのロード
0.72
process command the following
プロセスコマンド 以下の通り
0.75
dataset by
データセット ところで
0.59
to simperforming dataset =
データセットをシミュレートする
0.52
2https://github.com/ jinlanfu/Polyglot_
2https://github.com/ jinlanfu/Polyglot_
0.17
Prompt Figure 1: The application of prompt technology in three different scenarios: Generic, Multi-Task (MT), Multi-lingual Multi-task (MLMT), where QA, SC, NLI represent question answering, sentiment classification, and natural language inference.
プロンプト 図1: 汎用性、マルチタスク(mt)、多言語マルチタスク(mlmt)、qa、sc、nliが質問応答、感情分類、自然言語推論の3つの異なるシナリオにおけるプロンプト技術の適用。 訳抜け防止モード: プロンプト 図1:ジェネリック、マルチタスク(MT)の3つの異なるシナリオにおけるプロンプト技術の応用 Multi - lingual Multi - Task (MLMT) の略。 QA, SC, NLIは質問応答, 感情分類, 自然言語推論を表す。
0.76
“zh” and “en” denote Chinese and English languages.
zh" と "en" は中国語と英語を意味する。
0.76
unified semantic space. The insufficient features learned under lower-resource can be compensated by higher-resource shared with them.
As a result, a fine-tuned model in a data-rich language such as English can achieve decent transfer (e g , zeroshot) performance in geographically, syntactically, or phonetically similar languages (Malaviya et al , 2017).
その結果, 地理的, 構文的, 音声的に類似した言語(Malaviya et al, 2017)において, 英語などのデータリッチ言語における微調整モデルにより, 適切な転送性能(例えばゼロショット)を達成することができた。
0.72
Despite a preliminary success in the lowresource scenario using the shared knowledge across languages (Wang et al , 2019b; Liu et al , 2019; K et al , 2020), information has been exchanged solely in different languages within the same task for many existing multilingual language models.
言語間の共有知識(Wang et al , 2019b; Liu et al , 2019; K et al , 2020)を使用した低リソースシナリオの予備的な成功にもかかわらず、情報は既存の多言語言語モデルと同じタスク内で、異なる言語でのみ交換されている。
0.82
Can more conceptually-diverse tasks from different languages communicate together?
異なる言語からのタスクが相互にコミュニケーションできるのか?
0.78
To answer this question, researchers have made preliminary efforts along this direction (Yang et al , 2016; Lin et al , 2018; Hasan et al , 2021; Dong et al , 2015; Mahabadi et al , 2021).
この質問に答えるために、研究者はこの方向に沿って予備的な取り組みを行った(Yang et al , 2016; Lin et al , 2018; Hasan et al , 2021; Dong et al , 2015; Mahabadi et al , 2021)。
0.92
However, past attempts often operationalize the concept of the “different” tasks in relatively limited scenarios, such as different tasks with the same sequence labeling form (Yang et al , 2016) (e g , named entity recognition, chunking, and part-of-speech) or different domains from the same task (Wang et al , 2020).
しかし、過去の試みでは、同じシーケンスラベリング形式(Yang et al , 2016)の異なるタスク(例えば、名前付きエンティティ認識、チャンキング、音声の一部)や、同じタスクから異なるドメイン(Wang et al , 2020)のような、比較的限られたシナリオで「異なる」タスクの概念を運用することが多かった。
0.73
Recently, the success of the prompting methods (Liu et al , 2021b; Sanh et al , 2021) provided
近年,プロンプト手法(liu et al , 2021b; sanh et al , 2021)が成功している。
0.77
QA-enQA-zhNLI-jaNLI- frSum-esSum-dePLMQAS umNLIQA
QA-enQA-zhNLI-jaNLI- frSum-esSum-dePLMQAS umNLIQA
0.08
(a) GenericPLMPLM
(a)ジェネリックPLMPLM
0.87
(b) MT (c) MLMT
(b)MT (c)MLMT
0.39
英語（論文から抽出）
日本語訳
スコア
us with new clues on unifying different tasks in the same framework without task-specific parameters3 by formulating all tasks as a pre-training problem with varying flavors of architectures, such as mask language model (Devlin et al , 2019; Conneau et al , 2020) or encoder-decoder (Xue et al , 2021; Raffel et al , 2020; Liu et al , 2020; Chi et al , 2021).
マスク言語モデル(devlin et al , 2019; conneau et al , 2020)やエンコーダ-デコーダ(xue et al , 2021; raffel et al , 2020; liu et al , 2020; chi et al , 2021)など,さまざまなアーキテクチャを備えた事前学習問題として,すべてのタスクを定式化することで,タスク固有のパラメータなしで,同じフレームワークで異なるタスクを統合する新たな手掛かりを得る。
0.82
Among this background, in this paper, we try to use prompt techniques to blur the boundaries of tasks and languages.
そこで本稿では,タスクや言語の境界を曖昧にするために,プロンプト技術を用いている。
0.75
Specifically, more tasks in different languages can be placed in a monolithic framework.
具体的には、さまざまな言語におけるタスクをモノリシックなフレームワークに置くことができる。
0.65
As illustrated in Fig 1, different tasks from different languages can be connected together by being reformulated as a pretraining task.
Architecturally, we choose the encoder-decoder pre-training framework where more NLP tasks could be unified compared to other architectures such as the mask language model that favors classification-based tasks.
4 We develop a new framework for multitask multilingual learning, namely, PolyPrompt.
4) マルチタスク多言語学習のための新しいフレームワーク,すなわちPolyPromptを開発した。
0.78
What’s more, we additionally study 15 English (e g SST2 (Socher et al , 2013)) and 2 multilingual (e g XL-Sum (Hasan et al , 2021)) high-resource datasets.
さらに、さらに15の英語(sst2 (socher et al , 2013)と2つの多言語(xl-sum (hasan et al , 2021))の高リソースデータセットについても研究しています。
0.79
The results show that the performance of PolyPrompt is significantly improved compared to single-task training.
その結果,polypromptの性能は単タスクトレーニングに比べて有意に向上した。
0.74
After introducing more training datasets, the performance of PolyPrompt can be further enhanced.
What characteristics of the dataset and language affect the improvement?
改善に影響を与えるデータセットと言語の特徴は何か?
0.81
To answer this question, we design a multilingual interpretable evaluation methodology (Fu et al , 2020; Liu et al , 2021a) to analyze the strengths and weaknesses of the unified framework for different tasks, languages, and language families.
この問題に対処するため,多言語対応型評価手法 (Fu et al , 2020; Liu et al , 2021a) を設計し,様々なタスク,言語,言語家族を対象とした統一フレームワークの長所と短所を分析する。
0.84
For example, in the XNLI (Cross-lingual Nat-
例えば XNLI (Cross-lingual Nat) では
0.87
3It’s not challenging to unify different tasks into one framework, but things become more challenging if no additional task-specific parameterized modules are introduced.
4It is relatively easy for us to obtain the training set of relevant tasks in real scenarios.
4 実際のシナリオで関連するタスクのトレーニングセットを取得することは比較的容易です。
0.84
Therefore, the purpose of this research question is to explore whether the data that is relatively easy to obtain from relevant tasks can bring benefits after being introduced into the multi-task learning framework.
ural Language Inference corpus) (Conneau et al , 2018) dataset, PolyPrompt is better at dealing with samples with short lengths for languages belonging to the IE: Germanic language family while better at samples with the long length for languages belonging to the IE: Indo-Aryan language family.
ural language inference corpus) (conneau et al , 2018) dataset, polypromptは、ie: germanic language familyに属する言語に対する短い長さのサンプルを扱うのが得意だが、ie: indo-aryan language familyに属する言語に対する長い長さのサンプルの方が優れている。
0.78
Q3: What makes a good prompt for multilingual multi-task prompt training?
q3: 多言語マルチタスクプロンプトトレーニングによいプロンプトは何でしょう?
0.82
Applying prompting methods to the multilingual multitask setting is not as trivial as expected because using the prompt in the single language setting has already suffered from the notorious problem of prompt engineering (Liu et al , 2021b; Sanh et al , 2021), and the introduction of the language dimension will result in more challenges to prompt designing, namely multilingual prompt engineering.
単一言語でのプロンプトの使用は、プロンプトエンジニアリングの悪名高い問題(liu et al , 2021b; sanh et al , 2021)にすでに苦しんでいるため、多言語マルチタスク設定へのプロンプトメソッドの適用は、期待したほど簡単ではない。 訳抜け防止モード: 多言語マルチタスク設定へのプロンプト手法の適用 思ったほど ささやかなことではありません 一つの言語設定のプロンプトを使って すでに、プロンプトエンジニアリングの悪名高い問題(Lu et al)に悩まされている。 2021b ; Sanh et al, 2021 ) および 言語ディメンションの導入は、設計、すなわち多言語プロンプトエンジニアリングの促進により多くの課題をもたらします。
0.77
In this work, we consider two aspects of the prompt designs: the language choice of prompt templates and the uniformity of prompt templates across tasks.
Experimental results show that using cross-lingual (English) templates and unified templates for the tasks involved in multi-task training can be more conducive to the interaction between different languages and tasks, resulting in better performance.
rized as follows. • To the best of our knowledge, this is the first architectural exploration for the learning of multiple conceptually-differe nt tasks (e g , classification, named entity recognition, question answering and summarization) and multiple languages, which relies solely on a monolithic model.
• We have done extensive experiments in inlanguage training, cross-lingual zero-shot transfer, and cross-task & cross-lingual zero-shot transfer scenarios and design an interpretable multilingual evaluation to understanding how multitask multilingual prompting works and give some interesting observations.
(Sec. 5.2) 2 Related Work Multi-task & Multi-lingual Learning The development of neural nets makes it easier to share information across tasks or languages.
In the past few years, it is not uncommon to find research work on multi-task learning in the same language (Liu et al , 2015, 2016; Søgaard and Goldberg, 2016; Kumar
過去数年間、同じ言語でマルチタスク学習の研究成果を見つけることは珍しくない(liu et al , 2015; søgaard and goldberg, 2016; kumar)。
0.66
英語（論文から抽出）
日本語訳
スコア
et al , 2016) or multi-language learning in the same type of task, such as sequence labeling (Yang et al , 2016; Lin et al , 2018), text summarization (Hasan et al , 2021) and machine translation (Dong et al , 2015; Mahabadi et al , 2021; Hu et al , 2021).
例えば、シーケンスラベリング(Yang et al , 2016; Lin et al , 2018)、テキスト要約(Hasan et al , 2021)、機械翻訳(Dong et al , 2015; Mahabadi et al , 2021; Hu et al , 2021)である。 訳抜け防止モード: あるいは、同じタイプのタスクにおけるマルチ言語学習です。 例えば、シーケンスラベリング ( Yang et al, 2016 ; Lin et al, 2018年)、テキスト要約(Hasan et al, 2021)。 機械翻訳 (Dong et al, 2015 ; Mahabadi et al,) 2021年、Hu et al , 2021年。
0.70
However, the task of learning different languages and tasks simultaneously in a unified learning framework without task- or language-dependent parameters remains under explored.
Multi-lingual Learning with Pretrained Models The advent of multilingual pretrained language models allows texts in different languages to be unified into the same semantic space, which has become a popular backbone of various tasks for multilingual learning.
Most existing works of multilingual learning with PLMs mainly revolve around two folds: (1) in-language learning (Hasan et al , 2021), where training samples in different languages are provided and will be used to finetune PLMs (2) out-of-language learning (Hu et al , 2020), where only training samples with rich languages (e g , English) are provided to tune PLMs, which will then be evaluated on languages unseen during training phase.
言語内学習(hasan et al , 2021)は異なる言語でトレーニングサンプルを提供し、plm (2)言語外学習(hu et al , 2020)を微調整するために使用される。 訳抜け防止モード: PLMを用いた多言語学習のほとんどの研究は、主に2つの折り畳み、 (1 ) in-Language Learning (Hasan et al, 2021 )を中心に展開している。 様々な言語のサンプルが提供され 言語学習(Hu et al, 2020 )から PLM (2 ) を抽出するために使用される。 豊かな言語(例えば、英語)でサンプルを訓練するだけである。 PLMをチューニングし、トレーニングフェーズ中に見つからない言語で評価される。
0.77
Prompting Methods Prompting is a technique that aims to make better use of pre-trained knowledge by reformulating tasks at hand (Liu et al , 2021b).
Prompting Methods Promptingは、手元にあるタスク(Liu et al , 2021b)を再構成することで、事前訓練された知識をよりよく活用することを目的とした技術である。 訳抜け防止モード: Prompting Methods Promptingは、事前訓練された知識をよりよく活用することを目的としたテクニックである。 作業の見直し (Liu et al, 2021b )。
0.70
The advent of prompting allows us to do more with one system, i.e., unifying signals cross tasks (Sanh et al , 2021), languages (Zhao and Schütze, 2021), even modality (Zhao et al , 2021).
プロンプトの出現により、1つのシステム、すなわち、信号の統一クロスタスク(sanh et al , 2021)、言語(zhao and schütze, 2021)、さらにはモダリティ(zhao et al , 2021)でさらに実行することが可能になります。
0.77
In this paper, we continue to expand what one system can do by proposing multilingual multitask learning with prompting methods, connecting geographically diverse languages and linguistically different tasks.
We unify different tasks from different languages by reformulating different NLP tasks as a sequence to sequence problem (Sutskever et al , 2014; Bahdanau et al , 2015) so that they can be connected by one pre-trained language model (mT5 (Xue et al , 2021)) that also adopts a sequence-to-sequence training objective.
我々は、異なるNLPタスクをシーケンスからシーケンスへの問題(Sutskever et al , 2014; Bahdanau et al , 2015)として再構成することで、異なる言語からのタスクを統一し、トレーニング済みの1つの言語モデル(mT5 (Xue et al , 2021))で接続できるようにし、シーケンスからシーケンスへのトレーニング目標も採用する。
0.73
Fig 2 illustrates the overview of the proposed framework.
図2は提案されたフレームワークの概要を示している。
0.68
Each sample from different tasks will be re-formatted as a (prompt, answer) pair using pre-defined templates and then be fed into a multilingual pre-trained language model.
Given a predefined template of the i-th task Ki, the to-be-encoded prompt text ˆxi,j and the tobe-decoded prompt text ˆyi,j can be defined as:
i-th タスク Ki の事前定義されたテンプレートが与えられた場合、to-be-encoded プロンプトテキストはxi,j で、to-be-decoded プロンプトテキストはyi,j で定義できる。 訳抜け防止モード: i - th task ki の事前定義されたテンプレートが与えられる。 to - be - エンコードされたプロンプト sxi, j and the tobe - decoded prompt text syi , j can be as:
0.71
where i ∈[1, n], j ∈[1,ࢯTiࢯ].
ここで、i ∈[1, n], j ∈[1,] である。
0.71
ࢯTiࢯ denotes the
ti" は "the" を表す
0.31
(1) (2) ˆxi,j = Ki(xi,j), ˆyi,j = Ki(yi,j),
(1) (2) xi,j = ki(xi,j)、yi,j = ki(yi,j)
0.39
number of samples for the i-th tasks.
i-thタスクのサンプルの数。
0.71
For multi-task training, samples from n tasks will be simultaneously fed into a language model.
マルチタスクトレーニングでは、nタスクのサンプルが同時に言語モデルに入力される。
0.73
Since we choose the text-to-text language model, it allows us to use the standard encoder-decoder objective that maximizes the log-likelihood of the to-be-decoded text from the model’s output.
To explore the influence of introducing more high-resource English and multilingual datasets for multi-task prompt training, we present the expanding tasks, which only provide training data.
4.1.1 Target Tasks XQuAD (Artetxe et al , 2020) is a cross-lingual question answering dataset, including 11 languages.
4.1.1 Target Tasks XQuAD (Artetxe et al , 2020) は11言語を含む言語間質問応答データセットである。
0.82
英語（論文から抽出）
日本語訳
スコア
Figure 2: The framework for multi-task multi-lingual prompt training.
図2: マルチタスク多言語プロンプトトレーニングのためのフレームワーク。
0.83
mPLM can be any encoder-decoder based pre-trained language model.
mPLMは任意のエンコーダデコーダベースの事前訓練言語モデルである。
0.63
Its English dataset is a subset of the development set of SQuAD v1.1.
英語のデータセットはSQuAD v1.1の開発セットのサブセットである。
0.81
The other 10 languages are the professional translations of the English dataset.
その他の10言語は、英語データセットのプロ翻訳である。
0.83
Therefore, the dataset in 11 languages is completely parallel.
したがって、11言語のデータセットは完全に並列である。
0.77
MLQA (Lewis et al , 2020) is another multilanguage extractive QA dataset, including 7 languages.
MLQA (Lewis et al , 2020) は7言語を含む別の多言語抽出QAデータセットである。
0.84
Each QA instance is paralleled between 4 languages on average.
各QAインスタンスは平均して4つの言語間で並列化される。
0.62
Since the MLQA and XQuAD lack training sets, following (Hu et al , 2020), we use the training data of SQuAD v1.1 as their training set.
MLQAとXQuADにはトレーニングセットがないので(Hu et al , 2020)、トレーニングセットとしてSQuAD v1.1のトレーニングデータを使用します。
0.80
TyDiQA-GoldP (TyDiQA) (Clark et al , 2020) is the gold passage version of the TyDiQA benchmark, including 9 languages for training, development, and testing.
Like XQuAD and MLQA, TyDiQA is evaluated with SQuAD 1.1 (Rajpurkar et al , 2016) metrics.
XQuADやMLQAと同様に、TyDiQAはSQuAD 1.1(Rajpurkar et al , 2016)メトリクスで評価される。
0.78
XNLI (Conneau et al , 2018) is a cross-lingual natural language inference dataset containing annotated development and test sets in 15 languages, and an annotated English training set.
XNLI (Conneau et al , 2018) は15言語で注釈付き開発とテストセットと注釈付き英語のトレーニングセットを含む言語間自然言語推論データセットである。
0.88
The English training set has been translated into the other 14 languages through a machine translator.5
英語のトレーニングセットは機械翻訳者.5によって他の14言語に翻訳された。
0.73
PAWS-X (Yang et al , 2019) is a cross-lingual paraphrase adversary from a word scrambling dataset with 7 languages.
PAWS-X(Yang et al , 2019)は、7つの言語を持つ単語スクランブルデータセットからの言語間パラフレーズの敵である。
0.67
The goal of this task 5https://console.clo ud.google.com/ storage/browser/xtre me_translations
is to predict whether two sentences are paraphrases.
2つの文がパラフレーズかどうかを 予測することです
0.60
The training set of PAWS-X is the PAWS’s training data, and the subset of PAWS’s development and test sets are translated into 6 other non-English datasets for evaluation.
| Question : What topic does this news belong to ?
質問 : このニュースはどのトピックに属するのか?
0.81
| (A) Business and Industry.
(a)事業及び産業。
0.64
(B) Economy. (C) Government and Society.
(B)経済。 (C)政府と社会。
0.37
(D) Market. | News : [News]Text1: ฉันก็เลยไม่แน่ใจจริงๆว่าทําไม...Text2:sฉันมั7นใจถึงเหตุผล...Answer the question based on paragraph 1 and paragraph 2 .
Wikipedia SQuAD 2.0 Wikipedia Quoref Wikipedia CNN NewsQA Textbooks/Wikipedia ROPES Misc.
Wikipedia SQuAD 2.0 Wikipedia Quoref Wikipedia CNN NewsQA Textbooks/Wikipedia ROPES Misc
0.44
MCTest Social IQa Misc.
mctest social iqa miscを参照。
0.59
DBpedia-2014 DBpedia AG_News Reuters Yahoo! YATC
DBpedia-2014 DBpedia AG_News Reuters Yahoo!
0.42
IMDB SST2 ARP
IMDB SST2 ARP
0.47
Quora RTE SNLI
Quora RTE SNLI
0.43
IMDb Rotten Tomatoes Amazon
IMDb Rotten Tomatoes Amazon
0.43
Quora News/Wikipedia Misc.
Quora News/Wikipedia Misc
0.47
QA TC SC SPC
QA TC SC SPC
0.43
Table 1: The tasks and datasets studied in this work.
表1: この作業で研究されたタスクとデータセット。
0.80
Lang. and Acc.
ラング そしてAcc。
0.41
denote “Language” and “Accuracy”.
言語」と「正確性」をいう。
0.75
Summ. , NER, QA, TC, SC, and SPC are abbreviations for Summarization, Named Entity Recognition, Question Answering, Topic Classification, Sentiment Classification, and Sentence Pair Classification.
“-” indicates that the task is not used for evaluation.
は、そのタスクが評価に使われていないことを示している。
0.54
“Misc.” indicates that the dataset was artificially constructed or of unclear origin.
misc.”は、データセットが人工的に構築されたか、起源が不明であることを示している。
0.49
RTE (Wang et al , 2019a), and SNLI (Bowman et al , 2015).
rte (wang et al , 2019a) と snli (bowman et al , 2015) である。
0.68
Topic Classification is a task to predict a suitable topic (e g health) for a given text.
トピック分類は、与えられたテキストに適したトピック(例えば健康)を予測するタスクである。
0.81
We use the following topic classification datasets: DBpedia-2014 (Zhang et al , 2015), AG_News (Zhang et al , 2015), and YATC (Yahoo! Answers Topic Classification Dataset) (Zhang et al , 2015).
DBpedia-2014 (Zhang et al , 2015), AG_News (Zhang et al , 2015), YATC (Yahoo! Answers Topic Classification Dataset) (Zhang et al , 2015)。
0.31
Sentiment Classification aims to identify the sentiment polarity of a given text.
感性分類は、与えられたテキストの感情極性を特定することを目的としている。
0.55
We studied datasets IMDB (Maas et al , 2011), Amazon Review Polarity (ARP) (Zhang et al , 2015), and SST2 (Socher et al , 2013).
我々は,imdb (maas et al , 2011), amazon review polarity (arp) (zhang et al , 2015), sst2 (socher et al , 2013) のデータセットを調査した。
0.76
XL-Sum (Hasan et al , 2021) is a multilingual summarization dataset covering 45 low- to highresource languages.
XL-Sum (Hasan et al , 2021) は45の低-高ソース言語をカバーする多言語要約データセットである。
0.69
We randomly select 32 out of 45 languages for multi-task prompt training.
マルチタスクプロンプトトレーニングでは45言語中32言語をランダムに選択する。
0.77
The ISO-639-1 codes of the chosen languages are en, ar, vi, ko, es, zh, ru, fr, tr, hi, id, fa, pt, mr, th, az, bn,
np, sr, sw, ta, te, ur, cy, am, my, gu, ha, ig, pa, si, yo.
np, sr, sw, ta, te, ur, cy, am, my, gu, ha, ig, pa, si, yo. 訳抜け防止モード: np, sr, sw, ta, te, ur, シー、俺、俺、グ、ハ、イグ。 おやおやおやおやおや。
0.72
PANX (Pan et al , 2017) is a multilingual named entity recognition dataset in 40 languages constructed based on Wikipedia corpus.
panx (pan et al , 2017) は、ウィキペディアのコーパスに基づいて構築された40の言語からなる多言語名エンティティ認識データセットである。
0.69
Following Hu et al (2020), we use the version with balanced train, development, and test splits from Rahimi et al (2019).
hu et al (2020) に続いて、このバージョンはrahimi et al (2019) から分離した列車、開発、テストのバランスを取っている。
0.74
4.2 Model Settings Vanilla mT5 is a single-task training model.
4.2 model settings vanilla mt5はシングルタスクトレーニングモデルである。
0.69
In the cross-lingual zero-shot transfer setting, mT5 is trained on the training set in English of the specific task (e g XNLI), while in the in-lingual training setting, mT5 is trained on the training samples in all languages for the particular task (e g XNLI).
The details of the 7 target datasets are shown in Sec. 4.1.1.
7つのターゲットデータセットの詳細は、sec. 4.1.1に示されている。
0.56
PolyPrompt+Expand is a multilingual multi-task prompt training model, which will combine 7 target datasets and 15 high-resource expanding datasets by the prompt mechanism for training.
PolyPrompt+Expand+PANX is a multilingual multitask prompt training model, and its training set includes the training samples of 7 target datasets, 15 high-resource English datasets, and a multilingual NER task (PANX).
PolyPrompt+Expand+XLSum is a multilingual multitask prompt training model whose training set contains 7 target datasets from 4 tasks, 15 highresource English datasets, and a multilingual summarization dataset (XL-Sum).
polyprompt+expand+xlsumは、4つのタスクから7つのターゲットデータセット、15の高リソースな英語データセット、多言語要約データセット(xl-sum)を含む多言語多タスク即発学習モデルである。 訳抜け防止モード: PolyPrompt+Expand+XLSumは4つのタスクから7つのターゲットデータセットを含む多言語マルチタスクプロンプトトレーニングモデルである。 マルチリンガル要約データセット (XL - Sum )。
0.84
4.3 Training Settings There are three experimental scenario settings explored in this paper, namely in-language training, cross-lingual zero-shot transfer, and cross-task & cross-lingual zero-shot transfer.
In-language training: we fine-tune the model on multiple datasets in the target languages, where training data for each target language is available.
言語内トレーニング: ターゲット言語内の複数のデータセット上でモデルを微調整する。 訳抜け防止モード: in - 言語トレーニング: ターゲット言語の複数のデータセットでモデルをチューニングします。 ターゲット言語毎のトレーニングデータが利用可能である。
0.84
For those datasets (XQuAD, MLQA, XNLI, and PAWS-X) without official training set in nonEnglish languages, following Hu et al (2020); Ruder et al (2021), we use the translation version published by Hu et al (2020) that are con-
これらのデータセット (XQuAD, MLQA, XNLI, PAWS-X) に対して、Hu et al (2020), Ruder et al (2021), Hu et al (2020) が公開している翻訳版はコンコードである。 訳抜け防止モード: これらのデータセット(XQuAD、MLQA、XNLI、PAWS - X)は、英語以外の言語で公式トレーニングセットなしで利用できる。 Hu et al (2020 ) ; Ruder et al (2021 ) We use the translation version published by Hu et al ( 2020 ) which is con-
0.86
英語（論文から抽出）
日本語訳
スコア
structed based on Google Translator 7 as the target language’s training set.
Cross-lingual zero-shot transfer: the model is fine-tuned on training samples in English and tested in English as well as other target languages (e g zh and es) (Hu et al , 2020).
言語間ゼロショット転送: モデルは英語のトレーニングサンプルに微調整され、英語および他のターゲット言語(eg zh, es)と同様にテストされる(Hu et al , 2020)。
0.86
Cross-task & cross-lingual zero-shot transfer: to evaluate the model’s generalization ability, we tested the PolyPrompt and PolyPrompt+Expand models fine-tuned in the zero-shot transfer learning setting on the PANX dataset belonging to the NER task.
For brevity, the languages are shown in ISO 639-1 codes8 as follows: af, am, ar, az, bg, bn, cy, de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, hi, hu, id, ig, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, np, pa, pt, ru, si, sw, ta, te, th, tl, tr, ur, vi, yo, zh.
af, am, ar, az, bg, bn, cy, de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, hi, hu, id, ig, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, np, pa, pt, ru, si, sw, ta, th, tl, tr, ur, vi, yo, zh。 訳抜け防止モード: 簡潔性については、ISO 639 - 1 codes8 で次のように示されている。 am、ar、az、bg、bn、cy、 de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, こんにちは、私はd、ig、それ、ja、jv、 カ、KK、コ、ML、ミスターMS 私のnl、np、pa、pt、ru si, sw, ta, te,th, tl, tr , ur , vi , yo , zh
0.71
Among them, zh, ja, th, te, km are languages that do not use space separation for words.
このうち、zh, ja, th, te, km は単語に空間分離を使用しない言語である。
0.79
4.5 Training and Evaluation Setup Training The PolyPrompt model proposed in this paper is based on mT5 (Xue et al , 2021), a multilingual variant of T5 (Raffel et al , 2020).
4.5 トレーニングおよび評価設定トレーニング 本論文で提案するポリプロンプトモデルは,T5 の多言語版である mT5 (Xue et al , 2021) に基づいている。
0.82
Our experiments study the mT5-base version (Wolf et al , 2020) with 580 million parameters.
実験では,mT5ベースバージョン(Wolf et al , 2020)を5億8000万のパラメータで検討した。
0.59
For all experiments, we use token limits of size 512 and 64 for input and output sequences, respectively.
すべての実験では、入力シーケンスと出力シーケンスにそれぞれ512と64のトークン制限を使用します。
0.74
All models have a learning rate of 1e − 4, the batch size is set to 18, and are trained for 20 epochs.
To reduce the expensive computational cost in our experiments, we sample 3, 000 samples per language for 7 target datasets from 4 tasks for all evaluated models.
1. The metric accuracy is used for XNLI, PAWS-X, MLDOC, and MARC, while F1 (Chen et al , 2004) and exact match (EM) (Rajpurkar et al , 2016) are employed for XQuAD, TyDiQA, and MLQA.
1. 計量精度はXNLI、PAWS-X、MLDOC、MARCで、F1(Chen et al , 2004)と正確なマッチング(EM)(Rajpurkar et al , 2016)はXQuAD、TyDiQA、MLQAで使用される。
0.56
5 Results & Analysis In this section, we will detail experimental results and analysis.
5 結果と分析 本節では,実験結果と分析について詳述する。
0.80
5.1 Exp-I: Effect of Multi-task Prompt
5.1 Exp-I:マルチタスクプロンプトの効果
0.71
Training The experiment in this section is designed to answer research question Q1 (Sec.1).
研修 本項の実験は、研究Q1(Sec.1)に答えるように設計されている。
0.64
Specifically, we investigate whether multilingual multi-task prompt training (PolyPrompt) can achieve improvement and whether the performance of PolyPrompt can be further improved by introducing more highresource datasets.
5.1.1 Approach Average Performance: We calculated the average performance on the 7 target datasets to observe the performance changes brought by multi-task training from a holistic perspective.
The results are shown in the column named “Avg.” in Tab.
結果はTabの“Avg.”というコラムに示されている。
0.76
2. Performance Improvement at language-level: To observe the performance improvement of PolyPrompt relative vanilla mT5 in terms of language granularity, we subtract the performance of vanilla mT5 from PolyPrompt (and its variants) on each language.
Significance Tests: To examine whether the PolyPrompt and its variants are significantly better than the vanilla mT5, we perform the significance test with Wilcoxon’s Signed-rank Test (Wilcoxon et al , 1970) at p = 0.05.
重要なテスト: ポリプロンプトとその変種がバニラ mT5 よりも著しく優れているかどうかを調べるために、P = 0.05 でウィルコクソンの署名ランクテスト (Wilcoxon et al , 1970) を用いて重要なテストを実行する。
0.76
The null hypothesis is that the performance of PolyPrompt and its variants are indistinguishable from that of the vanilla mT5.
ヌル仮説は、ポリプロンプトとその変異体の性能がバニラmT5と区別できないというものである。
0.76
The results are shown in the last column of Tab.
結果はタブの最後の列に表示されます。
0.84
2, where gray values indicate that the evaluated model failed the significance test (p > 0.05).
2) グレー値は評価したモデルが有意性試験に失敗したことを示す(p > 0.05)。
0.68
5.1.2 Results Tab.
5.1.2 結果表。
0.26
2 shows the main experimental results of models studied in this work on 7 multilingual datasets from 4 NLP tasks.
4つのNLPタスクから7つの多言語データセットについて,本研究で検討したモデルの実験結果を示す。
0.69
Fig 3 shows the performance improvements of PolyPrompt and its variants over
2 and Fig 3: (1) Multilingual multi-task prompt training can bring improvement, which becomes more significant when high-resource datasets are introduced.
Specifically, from Tab. 2, we can see that the average performance of PolyPrompt PolyPrompt+Expand) and its variants (e g is greatly improved on the 7 datasets of 4 tasks with both the in-language training and cross-lingual zero-shot transfer settings, ex-
For the in-language training scenario, the best system for most datasets is PolyPrompt+Expand+PANX (5 out of 7), and for the cross-lingual zero-shot transfer scenario, the best system for all the datasets is PolyPrompt+Expand.
provement of PolyPrompt mainly comes from the languages of non-Indo-European language families (e g Sino-Tibet).
ポリプロンプトの証明は主に非インド・ヨーロッパ語族(例えばシノ・ティベット)の言語に由来する。
0.65
From Fig 3-(a), we can observe that no matter which dataset, languages belonging to non-Indo-European language families (e g Sino-Tibet and Niger-Congo) always have performance gains.
For example, languages belonging to the XNLI and XQuAD datasets consistently achieve positive relative performance, while languages belonging to the PAWS-X and MLDOC datasets mainly achieve negative relative performance.
(3) Whether a language that appears on only one task could bring improvement depends on the difficulty of the task.
3)1つのタスクにのみ現れる言語が改善をもたらすかどうかは,タスクの難しさに依存する。
0.88
In Fig 3-(a), we can observe that some languages in XNLI-[ur,bg], TyDiQA-[bn,fi,id,te] and MLDOC-[it] are not present in other tasks (e g it is only present in MLDOC).
These languages that appear only once in multi-task training have significant performance gains on the XNLI task, while performance drops significantly on the TyDiQA and MLDOC tasks.
The reason could be that XNLI is a task that relies more on fundamental knowledge (Yin et al , 2019), which is relatively easier to acquire from other tasks.
理由は、xnliは基本的な知識(yin et al , 2019)に依存するタスクであり、他のタスクからは比較的簡単に取得できるからだ。
0.69
By contrast, task such as TyDiQA need to understand more, e g , the semantics of sentences and the position of the answer.
対照的に、TyDiQAのようなタスクは、例えば、文の意味論と答えの位置をもっと理解する必要がある。
0.68
(4) Compared with multilingual datasets, it is more beneficial for PolyPrompt to introduce external English datasets in the cross-language zero-shot transfer scenario.
In Fig 3-(b), we observe that the PolyPrompt achieves performance gains in many languages belonging to different datasets in the cross-language zero-shot transfer scenarios.
When the external English datasets (PolyPrompt+Expand) are introduced, more languages obtain performance improvements (fewer languages below the orange line).
However, when multilingual datasets (e g PANX and XLSUM) are introduced (PolyPrompt+Expand+PANX and PolyPrompt+Expand+XLSUM), the overall performance drops (observed from Tab. 2) and there are more languages with negative relative performance gains (compared to PolyPrompt+Expand).
Evaluation To answer the research question Q2 (Why does PolyPrompt work? What characteristics of the dataset and languages affect the improvement?), we extend the ExplainaBoard (Liu et al , 2021a; Fu et al , 2020; Ruder et al , 2021) to multilingual settings.
評価 Q2(なぜPolyPromptが機能するのか?データセットと言語の特徴は改善に影響するのか?)に答えるために、ExplainaBoard(Liu et al , 2021a; Fu et al , 2020; Ruder et al , 2021)を多言語設定に拡張します。
0.83
and BLUE_t1t2 =
そして BLUE_t1t2 =
0.50
• MARC, MLDOC:
• marc,mldoc:
0.30
aLen=φLen(Xa),
aLen=φLen(Xa)
0.40
and tion to calculate the number of tokens in the given
そして 与えられたトークンの数を計算するための割
0.78
5.2.1 Approach: Fine-grained Analysis For the interpretable evaluation, the first step is the
5.2.1アプローチ: 解釈可能な評価のためのきめ細かい分析、最初のステップは
0.79
score of two given texts x1 and x2.
与えられたテキストx1とx2のスコア。
0.65
The following are the features tailored for the 7 multilingual datasets in this paper:
本論文の7つの多言語データセットに適した特徴は以下のとおりである。
0.70
attribute definition. Assume that φLen(x) is a functext x, and φBLUE(x1, x2) is to compute the BLUE • XQuAD, TyDiQA, MLQA: cLen=φLen(Xc), qLen=φLen(Xq), BLUE_AC= φBLUE(Xa, Xc), where Xc, Xq, • PAWS-X, XNLI: t1Len = φLen(Xt1), t2Len = φLen(Xt2), t1Len/t2Len = φLen(Xt1)/φLen(Xt2), φBLUE(Xt1, Xt2), where Xt1 and Xt2 denote t1Len=φLen(Xt1), t1basic = φbasic(Xt1), and t1eNum = φeNum(Xt1), where Xt1 denotes a sequence of review (news for MLDOC).
φbasic(x) and φeNum(x) are functions to calculate the propor-
φbasic(x) と φeNum(x) はプロジェクターを計算する関数である
0.75
and Xa denote the context, question, and answer sequence, respectively.
xaは、それぞれ文脈、質問、回答のシーケンスを表す。
0.57
the premise and hypothesis (sentence-1 and sentence-2 for PAWS-X) sequence.
前提と仮説(PAWS-Xの文1と文2)
0.58
tion of words belonging to the 1000 essential English words 9 and entities, respectively.
それぞれ、1000個の本質英語単語9とエンティティに属する単語の重み付け。
0.71
Then, we follow Fu et al (2020) and separate the samples into four buckets, XS (extra-small), S (small), L (large), and XL (extra-large), according to their feature values, and calculate the performance for each bucket.
次に、fu et al (2020) に従い、その特徴量に応じて xs (extra-small), s (small), l (large), xl (extra-large) の4つのバケットに分離し、各バケットのパフォーマンスを計算する。
0.68
Dataset-level features We can also get the dataset-level features.
データセットレベルの機能 データセットレベルの機能も取得できます。
0.61
Given a dataset D and a feature p (e g qLen), the dataset-level feature can be defined as:
The bar charts after the second row represent the relative performance improvement of PolyPrompt and its variants over vanilla mT5, where the heights of the red and blue bars represent the maximum positive and maximum negative gains.
3, and the dataset bias characterized by φp is demonstrated in Fig 4.
φpを特徴とするデータセットバイアスを図4に示す。
0.63
Detailed observations are listed as follows: (1) Dataset Perspective: the advantages of PolyPrompt in the co-occurring languages between PAWS-X and XNLI datasets are inconsistent due to the dataset bias.
en, de, and fr are the co-occurring languages for PAWS-X and XNLI datasets from the sentence pair classification task.
en, de, fr は文ペア分類タスクから PAWS-X と XNLI データセットの共起言語である。
0.77
In Tab. 3, we find that among these co-occurring languages, PolyPrompt is better at samples with short sentence2 (t2Len: XS) and sentence pairs with lower similarity scores (BLUE_t1t2: XS) in the PAWS-X dataset, while excels at samples with long sentence2 (t2Len: XL) and similar sentence content (BLUE_t1t2: XL) in the XNLI dataset.
(2) Model Perspective: PolyPrompt achieves overall performance improvements on the 7 participating datasets from 4 tasks, but it cannot perform well on all samples (e g , worse performance on long sentences).
We can observe the advantages and disadvantages of PolyPrompt from Tab.
TabからPolyPromptのメリットとデメリットを観察することができます。
0.74
3. PolyPrompt is good at samples with the short context in most languages of MLQA (cLen: XS/S), samples with the long context in most languages of XQuAD (cLen: XL/L), samples with long sentence2 in most languages of XNLI (t2Len: XL/L), and samples with short sentence1 in zh,ko,ja of XS/S).
DisPAWS-X (t1Len(zh,ko,ja): advantage analysis: PolyPrompt is worse at handling samples with long questions (qLen: XL/L) in most languages of XQuAD, TyDiQA, and MLQA, samples with long sentence1 on XNLI-es, and samples with long sentence1 and sentence2 in zh,ko,ja of PAWS-X.
DisPAWS-X (t1Len(zh,ko,ja): 利点分析: PolyPromptは、XQuAD、TyDiQA、MLQAのほとんどの言語での長い質問(qLen:XL/L)、XNLI-esの長い文1と長い文1と長い文2のサンプル、PAWS-Xのzh,ko,jaを扱うのが苦手である。 訳抜け防止モード: DisPAWS - X ( t1Len(zh, ko, ja ) 利点分析 : PolyPrompt は XQuAD, TyDiQA, MLQA のほとんどの言語で長い質問 (qLen : XL / L ) のサンプルを扱うのが苦手である。 XNLI - es の長文1のサンプルと PAWS - X の zh , ko , ja の長文1と長文2のサンプル。
0.82
(3) Language Perspective: the behavior of different languages is inconsistent.
(3) 言語視点: 異なる言語の振る舞いは一貫性がない。
0.79
(a) PolyPrompt is better at short sentences in languages belong-
(a)PolyPromptは言語に属する短い文より優れている
0.89
ing to the IE: Germanic language family and the long sentences in languages belonging to the IE: Indo-Aryan language family.
IEについて:ゲルマン語族とIEに属する言語における長い文:インド・アーリア語族。
0.67
(b) For languages that appear only once in a complex dataset, introducing more external data will effectively improve the performance of these languages.
For example, the bn, fi, id, and te languages only appear in the TyDiQA dataset, when a large English corpus is introduced, the performance of the bn language has been dramatically improved, and the improvement mainly comes from those samples with long context and short answers.
However, the overall performance of the remaining three languages did not change.
しかし、残りの3言語の全体的な性能は変化しなかった。
0.82
Still, the performance of some specific samples improved, for example, samples with a long context for id, a short context for fi, and a long answer for te.
それでも、特定のサンプルのパフォーマンスは改善されており、例えば、idの長いコンテキスト、fiの短いコンテキスト、teの長い回答がある。 訳抜け防止モード: しかし、例えば、いくつかの特定のサンプルのパフォーマンスは改善された。 i d の長いコンテキストを持つサンプル、fi の短いコンテキスト、 そして 長い答えだ
0.70
Continuing to introduce multilingual corpus (PolyPrompt+Expand+PANX), the performance of fi and id has been dramatically improved.
These improvements mainly come from the long answer for fi and the short answer for id.
これらの改善は主にfiの長い答えとidの短い答えから来ている。
0.80
5.3 Exp-III: Effect of Prompt In this section, we try to find out what prompts or prompt combinations are suitable for multilingual and multi-task scenarios (Q3).
5.3 Exp-III: Effect of Prompt この節では、多言語およびマルチタスクシナリオ(Q3)に適したプロンプトやプロンプトの組み合わせを見つけようとする。
0.86
5.3.1 Prompt Design Although prompting methods have proven effective in many NLP scenarios, its effectiveness comes at the cost of prompt engineering (Liu et al , 2021b), as there are usually various factors that influence the prompt design process.
5.3.1 プロンプト設計 多くのnlpシナリオでプロンプト手法が有効であることが証明されているが、その効果はプロンプト設計プロセスに影響を与える様々な要因があるため、プロンプトエンジニアリング(liu et al, 2021b)のコストがかかる。
0.73
Existing works have studied the manual prompt (Schick and Schütze, 2021), soft (trainable) prompt (Lester et al , 2021), and mix prompt (mixing the manual and soft prompt) (Gu et al , 2021; Zhao and Schütze, 2021).
現存する作品では手動プロンプト(Schick and Schütze, 2021)、ソフト(訓練可能な)プロンプト(Lester et al , 2021)、ミックスプロンプト(Gu et al , 2021; Zhao and Schütze, 2021)が研究されている。 訳抜け防止モード: 現存する作品では手書きのプロンプトが研究されている(Schick and Schütze, 2021)。 柔らかい(訓練可能な)プロンプト(Lester et al, 2021 ) そして、プロンプトを混ぜる(手動とソフトプロンプトを混ぜる)(Gu et al, 2021 ; Zhao と Schütze)。 2021 ) .
0.83
The situation becomes more complicated in the multilingual situation, and in this paper, we care about the languages and uniformity of prompt templates design.
Tokens in pink are the co-occurring words in most templates.
ピンクのトークンは、ほとんどのテンプレートで共起する単語です。
0.65
prompt into the evaluated language, and it is checked and corrected by humans.
評価された言語にプロンプトし、人間がチェックして修正します。
0.74
An example of in-lingual prompt for the Chinese (evaluated language) is given in Tab.
中国語(評価言語)の言語内プロンプトの例がタブで示される。
0.75
4. • Cross-lingual Prompt denotes that the language of the prompt is always kept in English (en) (Lin et al , 2021), regardless of the evaluated language (e g zh, es.).
4. • 言語横断プロンプトは、評価された言語(eg zh, es)に関係なく、プロンプトの言語が常に英語(en) (Lin et al , 2021) で保持されていることを示す。
0.65
Also, we give an example of cross-lingual prompt in Chinese (zh) in Tab.
また、中国語(zh)のTabにおける言語間プロンプトの例を示す。
0.78
4. (2) Uniformity of Templates: The prevailing suggest that tasks that are similar or share similar underlying structures will benefit from multitask training (Caruana, 1997; Evgeniou and Pontil, 2004; Argyriou et al , 2008).
4. 2)テンプレートの均一性: 類似や類似した構造を共有するタスクはマルチタスクトレーニングの恩恵を受けることが示唆されている(Caruana, 1997; Evgeniou and Pontil, 2004; Argyriou et al , 2008)。
0.64
In this paper, we make some explorations on the similarity of tasks, trying to narrow the distance between different NLP tasks by designing a unified template.
(a). Uniformity of Templates We designed 5 different prompts for each dataset, and then one prompt for each task was randomly selected to build a set of diversified prompts for multi-task prompt training.
In total, we created 5 groups of diversified templates.
合計5種類のテンプレートを作成しました。
0.57
We subtract the performance of PolyPrompt equipping with a diversified prompt from PolyPrompt equipping with the unified prompt to get the relative performance improvement, as shown in Fig 5-
A. 5.3.3 Results (1) The cross-lingual (English) prompt would help tasks better retrieve the knowledge encoded in the multilingual pre-trained language model.
(a) that the average overall performance of the 5 models (vanilla mT5 and PolyPrompt based models) equipped with cross-lingual prompts outperforms in-lingual prompts, which holds for all the seven datasets.
The reasons can be summarized as follows: (1) The English template does not bring additional translation noise; (2) mT5 is pre-trained on a larger body of English corpus, therefore understanding the English template.
(2) PolyPrompt with cross-lingual prompts (CL) has no advantage over the in-lingual prompts
2)言語間プロンプト(CL)を有するポリプロンプトは言語内プロンプトに対して優位ではない
0.71
英語（論文から抽出）
日本語訳
スコア
(a) Cross-lingual (CL) − In-lingual (IL)
(a)クロスリンガル(cl)−インリンガル(il)
0.63
(b) PolyPrompt − PolyPrompt-v(x)
(b)PolyPrompt −PolyPrompt-v(x)
0.47
Figure 5: The exploration of the language and uniformity of prompt design.
図5: 言語とプロンプトデザインの統一性の探求。
0.67
(a) is the performance gap between cross-lingual (CL) and in-lingual (IL) prompt templates, where PolyP, PolyPE, PolyPEX, and PolyPEP are abbreviations for PolyPrompt, PolyPrompt+Expand, PolyPrompt+Expand+XLSum, and PolyPrompt+Expand+PANX.
The bluer color indicates that the model with the cross-lingual (unified) prompts outperforms the in-lingual (diversified) prompts, while the redder color has the opposite meaning.
Languages are sorted in descending order according to the sample size of the languages in the mT5 training set (high-resource to low-resource from left to right).
We can observe that PolyPrompt with cross-language prompts has no advantage in low-resource languages compared to in-lingual prompts; however, when the external English dataset is introduced (PolyPrompt+Expand), CL is more dominant in both low- and high-resource languages; With the introduction of multilingual datasets (PolyPrompt+Expand+XLSum), the relative advantages of cross-lingual prompts increase.
(3) The overall performance of PolyPrompt with the unified template is better than that of the diversified template, and different diversified templates significantly impact the QA task.
The reason can be that unified prompts help eliminate the boundaries between tasks, thereby reducing the distance between tasks and making the interaction between tasks easier.
zero-shot transfer To investigate whether the proposed methods can better retrieve relevant knowledge for unseen tasks and languages from pre-trained language models, we choose mT5, PolyPrompt, and PolyPrompt+Expand as investigated models and evaluate them on an unseen multilingual named entity recognition task PANX.
Figure 7: The performance improvement of PolyPrompt (PP) and PolyPrompt+Expand (PPE) relative to vanilla mT5 in the cross-task & cross-lingual zero-shot setting, where the blue and orange lines in the line chart represent the performance of PolyPrompt+Expand and PolyPrompt, respectively.
図7:ポリプロパント(pp)とポリプロパント+expand(ppe)の性能改善 クロスタスクおよびクロスリンガルゼロショット設定では、ラインチャートの青線とオレンジ線はそれぞれポリプロパント+expandとポリプロパントのパフォーマンスを表す。 訳抜け防止モード: 図7 : クロスタスクにおけるバニラmt5との比較によるpolyprompt(pp)およびpolyprompt+expand(ppe)の性能改善 and cross - lingual zero - ショット設定。 ラインチャートの青線とオレンジ線はそれぞれpolyprompt+expandとpolypromptのパフォーマンスを表している。
0.74
The bar chart is the proportion (%) of different languages in the training corpus participating in mT5 pre-training, where tl is a language that never participated in mT5 pre-training.
spectively. The results are shown in the line chart in Fig 7.
素晴しい。 結果は図7のラインチャートに示されています。
0.60
The bar chart is the proportion of samples in different languages that participated in mT5 pre-training.
バーチャートはmT5事前トレーニングに参加した様々な言語のサンプルの割合である。
0.76
Results: (1) Almost all languages benefit from PolyPrompt, and more languages will benefit when PolyPrompt is enhanced with extra English training datasets.
We can observe from the line chart in Fig 7 that PolyPrompt brings benefits to 34 of the 40 languages, while 38 languages when the extra English training datasets (PolyPrompt+Expand) are enhanced to PolyPrompt.
What’s more, the PolyPrompt+Expand performs much better than PolyPrompt on languages belonging to the IE: Germanic and IE: Romance language families, which make up a large proportion of samples in the pretraining corpus of mT5 (we can observe this from the bar chart in Fig 7).
(2) PolyPrompt significantly improves performance on languages that have never appeared in the pre-training corpus of mT5.
2) PolyPromptはmT5の事前学習コーパスに存在しない言語の性能を大幅に向上させる。
0.79
Both PolyPrompt and PolyPrompt+Expand have obtained much performance gains over mT5 on the tl, which is a language that never appeared in the pre-trained corpus of mT5.
The potential reasons are: (1) we unify different tasks into a sequence-to-sequence framework (including NER), which effectively shortens the distance between different tasks; (2) English (en) and tl share the same semantic space, NER knowledge in English (en) can be effectively transferred to tl; based on this, when more En-
(3) What makes a good prompt for multilingual multi-task prompt training?
3)多言語マルチタスクプロンプトトレーニングによいプロンプトは何か?
0.71
The best performance is achieved when the model is equipped with cross-lingual prompts (i.e., using English as prompt templates regardless of what the language of training samples is) and prompts with unified templates across tasks.
Acknowledgements We thank Graham Neubig and Junjie Hu for their useful discussion and suggestions on this work.
覚書 graham neubig氏とjunjie hu氏のこの作業に関する有用な議論と提案に感謝します。
0.56
This work was supported by the National Research Foundation of Singapore under its Industry Alignment Fund – Pre-positioning (IAF-PP) Funding Initiative.
この研究は、シンガポールの産業調整基金、IAF-PPファンド・イニシアティブによって支援された。
0.55
Any opinions, findings, conclusions, or recommendations expressed in this material are those of the authors and do not reflect the views of the National Research Foundation of Singapore.
2015. Neural machine translation by jointly In 3rd Interlearning to align and translate.
2015. 調整と翻訳のための第3インターラーニングによるニューラルマシン翻訳
0.57
national Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.
national conference on learning representations, iclr 2015, san diego, ca, usa, may 7-9, 2015 conference track proceedings (英語) 訳抜け防止モード: ICLR 2015, San Diego, CA, USA, International Conference on Learning Representations に参加して 2015年5月7日～9日, Conference Track Proceedings。
0.81
Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning.
Association for Computational Linguistics. Jonathan H. Clark, Jennimaria Palomaki, Vitaly Nikolaev, Eunsol Choi, Dan Garrette, Michael Collins, and Tom Kwiatkowski.
2020. Tydi QA: A benchmark for information-seeking question answering in typologically diverse languages.
2020. Tydi QA: 類型的多様言語における情報探索質問応答のベンチマーク。
0.59
Trans. Assoc.
トランス。 Assoc
0.46
Comput. Linguistics, 8:454–470.
Comput 言語学 8:454-470。
0.34
Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov.
Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, Veselin Stoyanov 訳抜け防止モード: alexis conneau, kartikay khandelwal, naman goyal, vishrav chaudhary. guillaume wenzek, francisco guzmán, edouard grave, myle ott, ルーク・ゼトルモイヤー(luke zettlemoyer)とヴェセリン・ストヤノフ(veslin stoyanov)。
0.65
2020. Unsupervised cross-lingual representation learning at scale.
2020. 教師なし言語間表現学習の大規模化
0.45
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 8440–8451.
第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 8440–8451。
0.69
Association for Computational Linguistics. Alexis Conneau and Guillaume Lample.
計算言語学会会員。 アレクシス・コネウと ギヨーム・ランプ
0.49
2019. CrossIn Advances lingual language model pretraining.
2019. CrossIn Advances 言語モデルの事前トレーニング。
0.62
in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pages 7057–7067.
in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, page 7057–7067。 訳抜け防止モード: ニューラル情報処理システム32 : ニューラル情報処理システム2019年大会 NeurIPS 2019, 12月8日～14日, バンクーバー。 BC、カナダ、7057-7067頁。
0.71
Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov.
Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel R. Bowman, Holger Schwenk, Veselin Stoyanov。 訳抜け防止モード: Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams サミュエル・R・ボウマン、ホルガー・シュヴェンク、ヴェゼリン・ストヤノフ。
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pages 2475–2485.
Association for Computational Linguistics. Pradeep Dasigi, Nelson F. Liu, Ana Marasovic, Noah A. Smith, and Matt Gardner.
計算言語学会会員。 Pradeep Dasigi、Nelson F. Liu、Ana Marasovic、Noah A. Smith、Matt Gardner。
0.65
2019. Quoref: A reading comprehension dataset with questions reIn Proceedings of quiring coreferential reasoning.
2019. Quoref: 質問のある読み取り理解データセット reIn Proceedings ofquiring coreferential reasoning。
0.57
the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 5924–5931.
2019年自然言語処理における経験的手法に関する会議と第9回自然言語処理国際共同会議,emnlp-ijcnlp 2019,香港,中国,2019年11月3日から7日,ページ5924-5931。 訳抜け防止モード: 自然言語処理における実証的手法に関する2019年会議と第9回国際自然言語処理会議 EMNLP - IJCNLP 2019, Hong Kong, China, November 3 - 7, 2019 5924-5931頁。
0.85
Association for Computational Linguistics. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
計算言語学会会員。 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
0.45
2019. BERT: pre-training of deep bidirectional transformers for language underIn Proceedings of the 2019 Conference standing.
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pages 4171–4186.
The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), page 4171–4186. 訳抜け防止モード: 計算言語学会北米支部の紹介 : 人間言語技術 naacl - hlt 2019, minneapolis, mn, usa, june 2 - 7, 2019 (英語) 第1巻(長編・短編)、4171-4186頁。
0.71
Association for Computational Linguistics. Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang.
計算言語学会会員。 ダシャン・ドン、ワ・ウー、ウェイ・ヘ、ジアンハイ・ユ、ハイフェン・ワン。
0.49
2015. Multi-task learning for mulIn Proceedings of the tiple language translation.
2015. ティプル言語翻訳におけるmlin処理のためのマルチタスク学習
0.58
53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1723–1732, Beijing, China.
53th annual meeting of the association for computational linguistics and the 7th international joint conference on natural language processing ( volume 1: long papers, pages 1723–1732, beijing, china (英語) 訳抜け防止モード: 第53回計算言語学会年次大会と第7回自然言語処理国際会議(巻1編長編) 1723-1732頁、北京、中国。
0.60
Association for Computational Linguistics.
計算言語学会会員。
0.52
英語（論文から抽出）
日本語訳
スコア
Theodoros Evgeniou and Massimiliano Pontil.
Theodoros EvgeniouとMassimiliano Pontil。
0.38
2004. Regularized multi–task learning.
2004. 正規化されたマルチタスク学習。
0.45
In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Seattle, Washington, USA, August 22-25, 2004, pages 109– 117.
The Tenceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Seattle, Washington, USA, August 22-25, 2004, page 109–117。 訳抜け防止モード: 第10回知識発見・データマイニング国際会議(ACM SIGKDD)に参加して ワシントン州シアトル、2004年8月22日-25日 109頁、117頁。
0.77
ACM. Jinlan Fu, Pengfei Liu, and Graham Neubig.
acm。 Jinlan Fu、Pengfei Liu、Graham Neubig。
0.63
2020. Interpretable multi-dataset evaluation for named enIn Proceedings of the 2020 Contity recognition.
2021. PPT: pre-trained prompt tuning for few-shot learning.
2021. ppt: 事前学習されたプロンプトチューニング。
0.50
CoRR, abs/2109.04332.
corr, abs/2109.04332。
0.45
Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam, Kazi Samin, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar.
Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam, Kazi Samin, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, Rifat Shahriyar
0.44
2021. Xl-sum: Large-scale multilingual abstractive summarization for 44 languages.
2021. Xl-sum:44言語に対する大規模多言語抽象要約。
0.54
CoRR, abs/2106.13822.
CoRR, abs/2106.13822。
0.61
Junjie Hu, Hiroaki Hayashi, Kyunghyun Cho, and Graham Neubig.
ジュンジエ・フ、林弘明、チョウヒョン・チョー、グラハム・ノイビック。
0.39
2021. Deep: Denoising entity pre-training for neural machine translation.
2021. deep: ニューラルマシン翻訳のためのエンティティ事前トレーニング。
0.57
arXiv preprint arXiv:2111.07393.
arXiv preprint arXiv:2111.07393。
0.63
Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson.
Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, Melvin Johnson
0.35
2020. XTREME: A massively multilingual multitask benchmark for evaluating cross-lingual generalisation.
2020. XTREME: 言語間一般化を評価するための多言語マルチタスクベンチマーク。
0.55
In Proceedings of the 37th International Conference on Machine Learning, volume 119 of Proceedings of Machine Learning Research, pages 4411–4421.
第37回In Proceedings of the 37th International Conference on Machine Learning, Volume 119 of Proceedings of Machine Learning Research, page 4411–4421。 訳抜け防止モード: 第37回機械学習国際会議報告, 第119巻 機械学習研究の成果 4411-4421頁。
0.63
PMLR. Karthikeyan K, Zihan Wang, Stephen Mayhew, and Dan Roth.
national Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020.
iclr 2020, アディスアベバ, エチオピア, 2020年4月26～30日
0.44
OpenReview.net.
OpenReview.net
0.41
Phillip Keung, Yichao Lu, György Szarvas, and Noah A Smith.
Phillip Keung、Yichao Lu、György Szarvas、Noah A Smith。
0.67
2020. The multilingual amazon reviews corpus.
2020. 多言語アマゾンレビューコーパス。
0.54
arXiv preprint arXiv:2010.02573.
arXiv preprint arXiv:2010.02573
0.36
Ankit Kumar, Ozan Irsoy, Peter Ondruska, Mohit Iyyer, James Bradbury, Ishaan Gulrajani, Victor Zhong, Romain Paulus, and Richard Socher.
Ankit Kumar, Ozan Irsoy, Peter Ondruska, Mohit Iyyer, James Bradbury, Ishaan Gulrajani, Victor Zhong, Romain Paulus, Richard Socher 訳抜け防止モード: ankit kumar, ozan irsoy, peter ondruska, mohit iyyer, james bradbury, ishaan gulrajani, victor zhong, romain paulus そしてリチャード・ソッチャー
0.63
2016. Ask me anything: Dynamic memory networks for natural language processing.
2016. 自然言語処理のための動的メモリネットワーク。
0.46
In International conference on machine learning, pages 1378–1387.
機械学習に関する国際会議、1378-1387頁。
0.80
PMLR. Brian Lester, Rami Al-Rfou, and Noah Constant.
PMLR。 ブライアン・レスター、ラミ・アル=ルフー、ノア・コンスタン。
0.40
2021. The power of scale for parameter-efficient prompt tuning.
2021. パラメータ効率の良いプロンプトチューニングのためのスケールのパワー。
0.58
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021, pages 3045– 3059.
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 7315–7330.
第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 7315–7330。
0.67
Association for Computational Linguistics. Kevin Lin, Oyvind Tafjord, Peter Clark, and Matt Gardner.
計算言語学会会員。 ケビン・リン、オイビン・タフィヨルド、ピーター・クラーク、マット・ガードナー。
0.54
2019. Reasoning over paragraph effects In Proceedings of the 2nd Workin situations.
2019. 第2次労働状況の手続における段落効果の推論
0.59
shop on Machine Reading for Question Answering, MRQA@EMNLP 2019, Hong Kong, China, November 4, 2019, pages 58–62.
shop on machine reading for question answering, mrqa@emnlp 2019, hong kong, china, november 4, 2019年11月4日, 58-62頁。
0.39
Association for Computational Linguistics. Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, and Xian Li.
計算言語学会会員。 Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, Xian Li 訳抜け防止モード: 計算言語学会会員。 xivictoria lin, todor mihaylov, mikel artetxe, tianlu wang。 シュホイ・チェン、ダニエル・シミッヒ、ミレ・オット、ナマン・ゴヤル、シュルティ・ボサール jingfei du, ramakanth pasunuru, sam shleifer, punit singh koura, vishrav chaudhary氏、brian o’horo氏、jeff wang氏、luke zettlemoyer氏。 zornitsa kozareva, mona t. diab, veselin stoyanov, xian li。
0.56
2021. learnCoRR, ing with multilingual abs/2112.10668.
2021. learnCoRR, ing with multilingual abs/2112.10668
0.41
language models. Few-shot Ying Lin, Shengqi Yang, Veselin Stoyanov, and Heng Ji.
言語モデル。 一部 Ying Lin, Shengqi Yang, Veselin Stoyanov, and Heng Ji
0.48
2018. A multi-lingual multi-task architecture for low-resource sequence labeling.
2018. 低リソースシーケンスラベリングのための多言語マルチタスクアーキテクチャ
0.58
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 799–809, Melbourne, Australia.
Association for Computational Linguistics. Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan, Shuaichen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye, and Graham Neubig.
計算言語学会会員。 Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan, Shuaichen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye, Graham Neubig 訳抜け防止モード: 計算言語学会会員。 Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan 周愛chen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye そしてグラハム・ニュービッグ。
0.67
2021a. EXPLAINABOARD: an explainable leaderboard for NLP.
2021年。 EXPLAINABOARD: NLP用の説明可能なリーダーボード。
0.77
CoRR, abs/2104.06387.
corr、abs/2104.06387。
0.41
Pengfei Liu, Xipeng Qiu, and Xuanjing Huang.
Pengfei Liu、Xipeng Qiu、Xuanjing Huang。
0.34
2016. Recurrent neural network for text classification with In Proceedings of the Twentymulti-task learning.
2016. 20個のマルチタスク学習を経たテキスト分類のための再帰的ニューラルネットワーク
0.61
Fifth International Joint Conference on Artificial Intelligence, pages 2873–2879.
第5回人工知能国際共同会議、2873-2879頁。
0.65
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig.
2019. Investigating cross-lingual alignment methods for contextualized embeddings with token-level evaluation.
2019. トークンレベル評価による文脈的埋め込みのための言語間アライメント手法の検討
0.53
In Proceedings of the 23rd Conference on Computational Natural Language Learning, CoNLL 2019, Hong Kong, China, November 3-4, 2019, pages 33–43.
第23回計算自然言語学習会議conll 2019, hong kong, china, november 3-4, 2019, pages 33–43で開催。
0.77
Association for Computational Linguistics. Xiaodong Liu, Jianfeng Gao, Xiaodong He, Li Deng, Kevin Duh, and Ye-yi Wang.
計算言語学会会員。 Xiaodong Liu, Jianfeng Gao, Xiaodong He, Li Deng, Kevin Duh, Ye-yy Wang
0.46
2015. Representation learning using multi-task deep neural networks for semantic classification and information retrieval.
2015. 意味分類と情報検索のためのマルチタスクディープニューラルネットワークを用いた表現学習
0.63
In
院
0.43
英語（論文から抽出）
日本語訳
スコア
Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 912–921, Denver, Colorado.
2015年の北米計算言語学会の会議の成果: Human Language Technologies, page 912–921, Denver, Colorado (コロラド州)。
0.73
Association for Computational Linguistics. Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer.
計算言語学会会員。 Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, Luke Zettlemoyer 訳抜け防止モード: 計算言語学会会員。 銀ハン・リウ、ジアタオ・グ、ナマン・ゴヤル、シアン・リ、 セルゲイ・エドゥノフ、マージャン・ガズヴィネジャド、マイク・ルイス、ルーク・ゼトルモイヤー。
0.48
2020. Multilingual denoising pre-training for neural machine translation.
2020. ニューラルマシン翻訳のためのマルチリンガルdenoising pre-training
0.54
Trans. Assoc.
トランス。 Assoc
0.46
Comput. Linguistics, 8:726–742.
Comput 言語学 8:726–742。
0.39
Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts.
Andrew L. Maas、Raymond E. Daly、Peter T. Pham、Dan Huang、Andrew Y. Ng、Christopher Potts。
0.86
2011. Learning word vectors for sentiment analysis.
2011. 感情分析のための単語ベクトルの学習
0.60
In The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA, pages 142–150.
The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA, page 142-150 訳抜け防止モード: 第49回計算言語学会年次大会 : 人間言語技術 2011年6月19日～24日開催。 ポートランド、オレゴン州、アメリカ合衆国、142-150頁。
0.60
The Association for Computer Linguistics.
専門はコンピュータ言語学。
0.45
Rabeeh Karimi Mahabadi, Sebastian Ruder, Mostafa Dehghani, and James Henderson.
Rabeeh Karimi Mahabadi, Sebastian Ruder, Mostafa Dehghani, James Henderson
0.33
2021. Parameterefficient multi-task fine-tuning for transformarXiv preprint ers via shared hypernetworks.
Chaitanya Malaviya, Graham Neubig, and Patrick Littell.
Chaitanya Malaviya、Graham Neubig、Patrick Littell。
0.31
2017. Learning language representations for typology prediction.
2017. タイポロジー予測のための言語表現の学習
0.57
In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pages 2529–2535.
Association for Computational Linguistics. Xiaoman Pan, Boliang Zhang, Jonathan May, Joel Nothman, Kevin Knight, and Heng Ji.
計算言語学会会員。 Xiaoman Pan, Boliang Zhang, Jonathan May, Joel Nothman, Kevin Knight, and Heng Ji
0.45
2017. Crosslingual name tagging and linking for 282 languages.
2017. 282言語のための言語間タギングとリンク。
0.59
In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 1: Long Papers, pages 1946–1958.
Association for Computational Linguistics. Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu.
計算言語学会会員。 コリン・ラフェル、ノーム・シャザー、アダム・ロバーツ、キャサリン・リー、シャラン・ナラン、マイケル・マテナ、ヤンチー・周、ウェイ・リー、ピーター・j・リュー。 訳抜け防止モード: 計算言語学会会員。 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ピーター・J・リュー(Peter J. Liu)。
0.72
2020. Exploring the limits of transfer learning with a unified text-to-text transformer.
2020. 統一テキスト-テキストトランスフォーマによるトランスファー学習の限界の検討
0.62
J. Mach. Learn. Res., 21:140:1–140:67.
j・マッハ 学ぶ。 背番号21:140:1–140:67。
0.50
Afshin Rahimi, Yuan Li, and Trevor Cohn.
Afshin Rahimi、Yuan Li、Trevor Cohn。
0.30
2019. In ProMassively multilingual transfer for NER.
2019. nerの多言語移植です
0.42
ceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pages 151–164.
The 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28-8月2日, Volume 1: Long Papers, page 151–164. 訳抜け防止モード: 計算言語学会第57回大会の開催 ACL 2019, イタリアのフィレンツェ, 2019年7月28日-8月2日 第1巻 長文、第151-164頁。
0.62
Association for Computational Linguistics. Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang.
2016. Squad: 100, 000+ questions for machine comprehension of text.
2016. Squad: 機械によるテキスト理解のための100,000以上の質問。
0.56
In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pages 2383–2392.
2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016 Austin, Texas, USA, November 1-4, 2016”. 2383–2392. 2016年11月1日閲覧。
0.84
The Association for Computational Linguistics.
計算言語学協会(Association for Computational Linguistics)の略。
0.49
Matthew Richardson, Christopher J. C. Burges, and Erin Renshaw.
マシュー・リチャードソン、クリストファー・J・C・バージェス、エリン・レンショー。
0.46
2013. Mctest: A challenge dataset for the open-domain machine comprehension of text.
2013. mctest: テキストのオープンドメインマシン理解のためのチャレンジデータセット。
0.62
In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, EMNLP 2013, 18-21 October 2013, Grand Hyatt Seattle, Seattle, Washington, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 193–203.
ACL. Sebastian Ruder, Noah Constant, Jan Botha, Aditya Siddhant, Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu, Dan Garrette, Graham Neubig, et al 2021.
ACL。 Sebastian Ruder, Noah Constant, Jan Botha, Aditya Siddhant, Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu, Dan Garrette, Graham Neubig, et al 2021 訳抜け防止モード: ACL。 セバスティアン・ルーダー、ノア・コンスタント、ヤン・ボサ、アディティア・シッダーント Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu Dan Garrette, Graham Neubig, et al 2021
0.54
Xtreme-r: Towards more challenging and arXiv preprint nuanced multilingual evaluation.
Xtreme-r: より困難で、arXiv プレプリントニュアンス付き多言語評価を目指して。
0.51
arXiv:2104.07412.
arXiv:2104.07412。
0.49
Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M. Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal V. Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Févry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush.
Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M. Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal V. Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Févry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush. 訳抜け防止モード: ヴィクター・サン、アルバート・ウェブソン、コリン・ラフフェル、スティーブン・h・バッハ lintang sutawika, zaid alyafeai, antoine chaffin, arnaud stiegler, teven le scao arun raja, manan dey, m. saiful bari, canwen xu, urmish thakker, shanya sharma, eliza szczechla, taewoon kim, gunjan chhablani, nihal v. nayak, debajyoti datta, jonathan chang, mike tian - jian jiang, ハン・ワン マッテオ・マニカ シェン・シェン・シン・ヨン 過酷なパンディー レイチェル・バウデン トーマス・ワン トリシャラ・ネラジ ジョス・ローゼン abheesht sharma, andrea santilli, thibault févry, jason alan fries, ryan teehan。 ステラ・ビダーマン レオ・ガオ タリ・バーズ トーマス・ウルフ アレキサンダー・m・ラッシュ
0.61
2021. Multitask prompted training enables zero-shot task generalization.
2019. Socialiqa: Commonsense reasoning about social interactions.
2019. Socialiqa: 社会的相互作用に関する常識的推論。
0.58
CoRR, abs/1904.09728.
corr、abs/1904.09728。
0.40
Timo Schick and Hinrich Schütze.
ティモ・シックとヒンリッヒ・シュッツェ
0.39
2021. Exploiting cloze-questions for few-shot text classification and In Proceedings of the natural language inference.
2021. 数発のテキスト分類のためのクローゼクエストと自然言語推論の証明
0.53
16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pages 255–269.
16th conference of the european chapter of the association for computational linguistics: main volume, eacl 2021, online, april 19 - 23 2021, pages 255–269.com (英語) 訳抜け防止モード: 第16回計算言語学会欧州支部大会 : 主巻 eacl 2021, online, april 19–23, 2021 255-269頁。
0.57
Association for Computational Linguistics. Holger Schwenk and Xian Li.
計算言語学会会員。 Holger SchwenkとXian Li。
0.45
2018. A corpus for multilingual document classification in eight languages.
2018. 8言語における多言語文書分類のためのコーパス
0.59
In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018.
第11回言語資源・評価国際会議「LREC 2018, Miyazaki, Japan, May 7-12, 2018」開催報告
0.71
European Language Resources Association (ELRA).
欧州言語資源協会 (ELRA) の略。
0.77
Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts.
Richard Socher、Alex Perelygin、Jean Wu、Jason Chuang、Christopher D. Manning、Andrew Y. Ng、Christopher Potts。
0.80
2013. Recursive deep models for semantic compositionality over a sentiment In Proceedings of the 2013 Conference treebank.
2013. 感情による意味的構成性に関する再帰的な深層モデル 2013年のツリーバンク会議の成果
0.58
on Empirical Methods in Natural Language Processing, EMNLP 2013, 18-21 October 2013, Grand Hyatt Seattle, Seattle, Washington, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 1631–1642.
自然言語処理における経験的手法について、emnlp 2013, 18-21 october 2013, grand hyatt seattle, seattle, washington, usa,a meeting of sigdat, a special interest group of the acl, pages 1631–1642。 訳抜け防止モード: 自然言語処理における経験的手法について : 2013年10月18日から21日にかけてのEMNLP ワシントン州シアトルのグランドハイアットシアトル, SIGDAT会議 ACLの特別関心グループ 1631–1642頁。
0.71
ACL.
ACL。
0.41
英語（論文から抽出）
日本語訳
スコア
Anders Søgaard and Yoav Goldberg.
Anders SøgaardとYoav Goldberg。
0.40
2016. Deep multitask learning with low level tasks supervised at lower In Proceedings of the 54th Annual Meetlayers.
2016. 第54回年次ミートレイヤーの下位段階における低レベルタスクによる深層マルチタスク学習
0.59
ing of the Association for Computational Linguistics (Volume 2: Short Papers), pages 231–235, Berlin, Germany.
ing of the association for computational linguistics (巻2: short papers) 231-235ページ、ベルリン、ドイツ。
0.74
Association for Computational Linguistics. Ilya Sutskever, Oriol Vinyals, and Quoc V. Le.
計算言語学会会員。 Ilya Sutskever, Oriol Vinyals, Quoc V. Le
0.43
2014. Sequence to sequence learning with neural networks.
2014. ニューラルネットワークを用いたシーケンスからシーケンスへの学習。
0.55
In Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, December 8-13 2014, Montreal, Quebec, Canada, pages 3104–3112.
In Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014 December 8-13 2014 モントリオール、ケベック、カナダの3104-3112ページ。
0.81
Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, and Newsqa: A machine Kaheer Suleman.
Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, Newsqa: A Machine Kaheer Suleman 訳抜け防止モード: アダム・トリシュラー、トン・ワン、シンディ・アン、ジャスティン・ハリス alessandro sordoni, philip bachman, and newsqa : a machine kaheer suleman
0.65
2017. In Proceedings of the comprehension dataset.
2017. 理解データセットの手続きにおいて。
0.53
2nd Workshop on Representation Learning for NLP, Rep4NLP@ACL 2017, Vancouver, Canada, August 3, 2017, pages 191–200.
第2回nlp表現学習ワークショップ、rep4nlp@acl 2017、バンクーバー、カナダ、2017年8月3日、191-200ページ。 訳抜け防止モード: 2nd Workshop on Representation Learning for NLP, Rep4NLP@ACL 2017, Canada, Vancouver 2017年8月3日、191-200頁。
0.88
Association for Computational Linguistics. Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman.
2019a. GLUE: A multi-task benchmark and analysis platIn 7th form for natural language understanding.
2019年。 GLUE: マルチタスクのベンチマークと分析 自然言語理解のための7番目の形式。
0.72
International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019.
International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019
0.43
OpenReview.net.
OpenReview.net
0.41
Yiren Wang, ChengXiang Zhai, and Hany Hassan.
Yiren Wang、ChengXiang Zhai、Hany Hassan。
0.63
2020. Multi-task learning for multilingual neural In Proceedings of the 2020 machine translation.
2020. マルチタスク学習による多言語ニューラルIn Proceedings of the 2020 machine translation
0.60
Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1022–1034, Online.
英語) Empirical Methods in Natural Language Processing (EMNLP), page 1022–1034, Online.
0.80
Association for Computational Linguistics. Yuxuan Wang, Wanxiang Che, Jiang Guo, Yijia Liu, and Ting Liu.
計算言語学会会員。 Yuxuan Wang, Wanxiang Che, Jiang Guo, Yijia Liu, Ting Liu
0.42
2019b. Cross-lingual BERT transformation for zero-shot dependency parsing.
2019年。 ゼロショット依存解析のための言語間BERT変換
0.59
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 5720– 5726.
第9回自然言語処理国際共同会議(emnlp-ijcnlp 2019, hong kong, china, november 3-7, 2019, pages 5720– 5726)は、2019年の自然言語処理における経験的手法に関する会議である。
0.81
Association for Computational Linguistics. Frank Wilcoxon, SK Katti, and Roberta A Wilcox.
計算言語学会会員。 フランク・ウィルコクソン、SKカッティ、ロバータ・A・ウィルコクソン。
0.52
1970. Critical values and probability levels for the wilcoxon rank sum test and the wilcoxon signed rank test.
1970. ilcoxon rank sum test と wilcoxon signed rank test の臨界値と確率レベル。
0.54
Selected tables in mathematical statistics, 1:171–259.
数学統計学における選択表 1:171-259。
0.57
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush.
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander M. Rush 訳抜け防止モード: トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 clement delangue, anthony moi, pierric cistac, tim rault, rémi louf, モーガン・ファントウィッツ ジョー・デイヴィソン サム・シュライファー パトリック・フォン・プラトン clara ma, yacine jernite, julien plu, canwen xu, teven le scao, sylvain gugger, mariama drame, quentin lhoestなど。 アレキサンダー・m・ラッシュ
0.58
2020. Transformers: State-of-the-art natural language processing.
2020. Transformers: 最先端の自然言語処理。
0.61
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing:
自然言語処理における実証的手法に関する2020年会議のまとめ
0.81
System Demonstrations, EMNLP 2020 - Demos, Online, November 16-20, 2020, pages 38–45.
System Demonstrations, EMNLP 2020 - Demos, Online, November 16-20, 2020, page 38-45
0.47
Association for Computational Linguistics. Yang Xiao,
計算言語学会会員。 ヤン・シャオ
0.53
Jinlan Fu, Weizhe Yuan, Vijay Viswanathan, Zhoumianze Liu, Yixin Liu, Graham Neubig, and Pengfei Liu.
Jinlan Fu, Weizhe Yuan, Vijay Viswanathan, Zhoumianze Liu, Yixin Liu, Graham Neubig, Pengfei Liu
0.35
2022. Datalab: A platform for data analysis and intervention.
2022. Datalab: データ分析と介入のためのプラットフォーム。
0.63
arXiv preprint arXiv:2202.12875.
arXiv preprint arXiv:2202.12875
0.36
Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel.
Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel 訳抜け防止モード: linting xue, noah constant, adam roberts, mihir kale, rami al - rfou, aditya siddhant, aditya barua そしてコリン・ラフェル
0.68
2021. mt5: A massively multilingual pre-trained text-to-text transformer.
2021. mt5: 多言語で事前訓練されたテキストからテキストへの変換。
0.44
In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pages 483–498.
2021年6月6-11日、2021年6月1日、北米計算言語学会 (the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, page 483–498) の開催。
0.68
Association for Computational Linguistics. Yinfei Yang, Yuan Zhang, Chris Tar, and Jason PAWS-X: A cross-lingual adBaldridge.
2019. versarial dataset for paraphrase identification.
2019. paraphrase識別のための汎用データセット。
0.54
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 3685– 3690.
第9回自然言語処理国際共同会議(emnlp-ijcnlp 2019, hong kong, china, november 3-7, 2019, pages 3685–3690)は、2019年の自然言語処理における経験的手法に関する会議である。
0.81
Association for Computational Linguistics. Zhilin Yang, Ruslan Salakhutdinov, and William searXiv preprint
2019. classification: Benchmarking Datasets, evaluation and entailment approach.
2019. 分類: データセットのベンチマーク、評価、補足アプローチ。
0.56
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3914–3923, Hong Kong, China.
2015. Character-level convolutional networks for text classification.
2015. テキスト分類のための文字レベル畳み込みネットワーク
0.61
In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pages 649– 657.
In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015年12月712日, 2015年モントリオール, ケベック, カナダ, 649-657頁。
2021. Discrete and soft prompting for multilingual models.
2021. 多言語モデルのための離散的およびソフトプロンプト
0.58
CoRR, abs/2109.03630.
corr, abs/2109.03630。
0.48
英語（論文から抽出）
日本語訳
スコア
A Prompt Template Tab.
Promptテンプレートタブ。
0.59
5 presents the cross-lingual (English) prompt templates explored in this work.
この作業では、クロスランガル(英語)プロンプトテンプレートが紹介されている。
0.57
We designed 5 templates for each of the 7 tasks.
7つのタスクごとに5つのテンプレートを設計しました。
0.65
英語（論文から抽出）
日本語訳
スコア
Task XQuAD TyDiQA
課題 XQuAD TyDiQA
0.46
MLQA XNLI PAWS-X
MLQA XNLI PAWS-X
0.38
MARC MLDOC Prompt Template
マーク MLDOC プロンプトテンプレート
0.57
(1) Answer the question based on the paragraph.
1) 第一項に基づく質問に答える。
0.61
| Question: [Q] | Paragraph: [C] (2) Answer the question based on the information contained in the paragraph.
| 質問: [q] | 段落: [c] (2) 段落に含まれる情報に基づいて質問に答える。
0.71
| Question: [Q] | Paragraph: [C] (3) [C] | With reference to the above context, [Q] (4) I have always wondered: [Q] | I searched Wikipedia and this is what I found.
What’s the answer? | [C] (4) [C] | With reference to the above context, [Q] (5) Context: [C] | I am trying to figure out the answer to the question from the above context.
| Question: [Q] Answer: (4) [C] | With reference to the above context, [Q] (5) I have always wondered: [Q] | I searched Wikipedia and this is what I found.
(D) Market. | News: [T1] (5) Would you recommend the following article to a (A) Business and Industry (B) Economy (C) Government and Society (D) Market?