論文の概要、ライセンス

# (参考訳) 多言語プロンプト:多言語マルチタスクプロンプトレイニング [全文訳有]

Polyglot Prompt: Multilingual Multitask PrompTraining ( http://arxiv.org/abs/2204.14264v1 )

ライセンス: CC BY 4.0
Jinlan Fu, See-Kiong Ng, Pengfei Liu(参考訳) 異なる言語から異なるタスクを(タスク/言語固有のモジュールを使わずに)モノリシックなフレームワークでモデル化できるだろうか? これを実現するメリットは、低リソースシナリオでトレーニングされたシステムが、他の言語やタスクによって支援されるだけでなく、将来の多言語研究のための新たなドアを開くことだ。 学習フレームワークであるPolyglot Promptを開発し、適切な多言語プロンプトエンジニアリングの後、異なる言語やタスクの統一的な意味空間を学習するためのプロンプト手法を導入する。 対象分類,感情分類,名前付きエンティティ認識,質問応答,自然言語推論,要約,24のデータセット,49の言語を包括的に評価し,マルチリンガル・マルチタスク・プロンプト・トレーニングの有効性を示すとともに,いくつかの興味深い知見を提案する。 例えば、英語のプロンプトは多言語であるため、他の言語のタスクサンプルに直接適用することで改善される可能性がある。 また, 解釈可能な多言語評価手法を提案し, 提案手法である多言語多言語プロンプトトレーニングがどのように機能するかを示す。 すべてのデータセットを最高の設定でリリースし、すぐにコードをリリースします。

This paper aims for a potential architectural breakthrough for multilingual learning and asks: could different tasks from different languages be modeled in a monolithic framework (without any task/language-specif ic module)? The benefit of achieving this is not only that systems trained on low resources scenario can be assisted by more other languages and tasks, but opening new doors for future multilingual research. We approach this goal by developing a learning framework Polyglot Prompt, where prompting methods are introduced to learn a unified semantic space for different languages and tasks after proper multilingual prompt engineering. Experimentally, we perform a comprehensive evaluation on 6 tasks (topic classification, sentiment classification, named entity recognition, question answering, natural language inference, summarization), 24 datasets, and 49 languages, which shows the efficacy of multilingual multitask prompting training and suggests several interesting observations. e.g., English prompts are polyglots since directly applying them to task samples in other languages could result in a better improvement. We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works. We release all datasets prompted in the best setting and will release our code soon.
公開日: Fri, 29 Apr 2022 17:40:50 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Polyglot Prompt: Multilingual Multitask PrompTraining 多言語プロンプト:多言語マルチタスクプロンプトレイニング 0.73
Jinlan Fu 神蘭風(じんらんふ) 0.12
NUS jinlan@nus.edu.sg NUS jinlan@nus.edu.sg 0.36
See-Kiong Ng See-Kiong Ng 0.35
NUS seekiong@nus.edu.sg NUS seekiong@nus.edu.sg 0.36
Pengfei Liu Pengfei Liu 0.43
CMU pliu3@cs.cmu.edu CMU pliu3@cs.cmu.edu 0.34
2 2 0 2 r p A 9 2 2 2 0 2 r p A 9 2 0.43
] L C . s c [ 1 v 4 6 2 4 1 ]LC。 sc [ 1 v 4 6 2 4 1 0.30
. 4 0 2 2 : v i X r a . 4 0 2 2 : v i X r a 0.42
Abstract This paper aims for a potential architectural breakthrough for multilingual learning and asks: could different tasks from different languages be modeled in a monolithic framework (without any task/language-specific module)? 概要 異なる言語から異なるタスクを(タスク/言語固有のモジュールを使わずに)モノリシックなフレームワークでモデル化できるだろうか?
訳抜け防止モード: 概要 本稿では,多言語学習におけるアーキテクチャのブレークスルーをめざす。 異なる言語から異なるタスクをモノリシックなフレームワーク(タスク/言語、特定のモジュールなしで)でモデル化できるだろうか?
0.62
The benefit of achieving this is not only that systems trained on low resources scenario can be assisted by more other languages and tasks, but opening new doors for future multilingual research. これを実現するメリットは、低リソースシナリオでトレーニングされたシステムが、他の言語やタスクによって支援されるだけでなく、将来の多言語研究のための新たなドアを開くことだ。 0.62
We approach this goal by developing a learning framework Polyglot Prompt, where prompting methods are introduced to learn a unified semantic space for different languages and tasks after proper multilingual prompt engineering. 学習フレームワークであるPolyglot Promptを開発し、適切な多言語プロンプトエンジニアリングの後、異なる言語やタスクの統一的な意味空間を学習するためのプロンプト手法を導入する。 0.80
Experimentally, we perform a comprehensive evaluation on 6 tasks (topic classification, sentiment classification, named entity recognition, question answering, natural language inference, summarization), 24 datasets, and 49 languages, which shows the efficacy of multilingual multitask prompting training and suggests several interesting observations. 対象分類,感情分類,名前付きエンティティ認識,質問応答,自然言語推論,要約,24のデータセット,49の言語を包括的に評価し,マルチリンガル・マルチタスク・プロンプト・トレーニングの有効性を示すとともに,いくつかの興味深い知見を提案する。 0.79
e g , English prompts are polyglots since directly applying them to task samples in other languages could result in a better improvement. 例えば、英語のプロンプトは多言語であるため、他の言語のタスクサンプルに直接適用することで改善される可能性がある。 0.64
We also present an interpretable multilingual evaluation methodology and show how the proposed framework, multilingual multitask prompt training, works. また, 解釈可能な多言語評価手法を提案し, 提案手法である多言語多言語プロンプトトレーニングがどのように機能するかを示す。
訳抜け防止モード: また,解釈可能な多言語評価手法を提案する。 提案されたフレームワークは 多言語マルチタスク・プロンプトトレーニングです
0.80
We release all datasets prompted in the best setting1 and will release our code soon.2 最高の設定1でトリガーされたすべてのデータセットをリリースし、すぐにコードをリリースします。 0.53
1 Introduction The emergence of multi-lingual pre-trained language models (Xue et al , 2021; Liu et al , 2020; Conneau et al , 2020; Conneau and Lample, 2019) enables different languages to be represented in a 1 はじめに 複数言語で事前訓練された言語モデルの出現(Xue et al , 2021; Liu et al , 2020; Conneau et al , 2020; Conneau and Lample, 2019)は、異なる言語をひとつの言語で表現できるようにする。 0.59
1We use DataLab (Xiao et al , 2022) 1 DataLab(Xiao et al , 2022)を使う 0.43
plify the load_dataset(’poly_prompt’) load_dataset(’poly_prompt’)をplifyする 0.71
loading pythonic pythonicのロード 0.72
process command the following プロセスコマンド 以下の通り 0.75
dataset by データセット ところで 0.59
to simperforming dataset = データセットをシミュレートする 0.52
2https://github.com/ jinlanfu/Polyglot_ 2https://github.com/ jinlanfu/Polyglot_ 0.17
Prompt Figure 1: The application of prompt technology in three different scenarios: Generic, Multi-Task (MT), Multi-lingual Multi-task (MLMT), where QA, SC, NLI represent question answering, sentiment classification, and natural language inference. プロンプト 図1: 汎用性、マルチタスク(mt)、多言語マルチタスク(mlmt)、qa、sc、nliが質問応答、感情分類、自然言語推論の3つの異なるシナリオにおけるプロンプト技術の適用。
訳抜け防止モード: プロンプト 図1:ジェネリック、マルチタスク(MT)の3つの異なるシナリオにおけるプロンプト技術の応用 Multi - lingual Multi - Task (MLMT) の略。 QA, SC, NLIは質問応答, 感情分類, 自然言語推論を表す。
0.76
“zh” and “en” denote Chinese and English languages. zh" と "en" は中国語と英語を意味する。 0.76
unified semantic space. The insufficient features learned under lower-resource can be compensated by higher-resource shared with them. 統一意味空間。 low-resourceで学んだ不十分な機能は、より高いリソースの共有によって補うことができる。 0.56
As a result, a fine-tuned model in a data-rich language such as English can achieve decent transfer (e g , zeroshot) performance in geographically, syntactically, or phonetically similar languages (Malaviya et al , 2017). その結果, 地理的, 構文的, 音声的に類似した言語(Malaviya et al, 2017)において, 英語などのデータリッチ言語における微調整モデルにより, 適切な転送性能(例えばゼロショット)を達成することができた。 0.72
Despite a preliminary success in the lowresource scenario using the shared knowledge across languages (Wang et al , 2019b; Liu et al , 2019; K et al , 2020), information has been exchanged solely in different languages within the same task for many existing multilingual language models. 言語間の共有知識(Wang et al , 2019b; Liu et al , 2019; K et al , 2020)を使用した低リソースシナリオの予備的な成功にもかかわらず、情報は既存の多言語言語モデルと同じタスク内で、異なる言語でのみ交換されている。 0.82
Can more conceptually-diverse tasks from different languages communicate together? 異なる言語からのタスクが相互にコミュニケーションできるのか? 0.78
To answer this question, researchers have made preliminary efforts along this direction (Yang et al , 2016; Lin et al , 2018; Hasan et al , 2021; Dong et al , 2015; Mahabadi et al , 2021). この質問に答えるために、研究者はこの方向に沿って予備的な取り組みを行った(Yang et al , 2016; Lin et al , 2018; Hasan et al , 2021; Dong et al , 2015; Mahabadi et al , 2021)。 0.92
However, past attempts often operationalize the concept of the “different” tasks in relatively limited scenarios, such as different tasks with the same sequence labeling form (Yang et al , 2016) (e g , named entity recognition, chunking, and part-of-speech) or different domains from the same task (Wang et al , 2020). しかし、過去の試みでは、同じシーケンスラベリング形式(Yang et al , 2016)の異なるタスク(例えば、名前付きエンティティ認識、チャンキング、音声の一部)や、同じタスクから異なるドメイン(Wang et al , 2020)のような、比較的限られたシナリオで「異なる」タスクの概念を運用することが多かった。 0.73
Recently, the success of the prompting methods (Liu et al , 2021b; Sanh et al , 2021) provided 近年,プロンプト手法(liu et al , 2021b; sanh et al , 2021)が成功している。 0.77
QA-enQA-zhNLI-jaNLI- frSum-esSum-dePLMQAS umNLIQA QA-enQA-zhNLI-jaNLI- frSum-esSum-dePLMQAS umNLIQA 0.08
(a) GenericPLMPLM (a)ジェネリックPLMPLM 0.87
(b) MT (c) MLMT (b)MT (c)MLMT 0.39
英語(論文から抽出)日本語訳スコア
us with new clues on unifying different tasks in the same framework without task-specific parameters3 by formulating all tasks as a pre-training problem with varying flavors of architectures, such as mask language model (Devlin et al , 2019; Conneau et al , 2020) or encoder-decoder (Xue et al , 2021; Raffel et al , 2020; Liu et al , 2020; Chi et al , 2021). マスク言語モデル(devlin et al , 2019; conneau et al , 2020)やエンコーダ-デコーダ(xue et al , 2021; raffel et al , 2020; liu et al , 2020; chi et al , 2021)など,さまざまなアーキテクチャを備えた事前学習問題として,すべてのタスクを定式化することで,タスク固有のパラメータなしで,同じフレームワークで異なるタスクを統合する新たな手掛かりを得る。 0.82
Among this background, in this paper, we try to use prompt techniques to blur the boundaries of tasks and languages. そこで本稿では,タスクや言語の境界を曖昧にするために,プロンプト技術を用いている。 0.75
Specifically, more tasks in different languages can be placed in a monolithic framework. 具体的には、さまざまな言語におけるタスクをモノリシックなフレームワークに置くことができる。 0.65
As illustrated in Fig 1, different tasks from different languages can be connected together by being reformulated as a pretraining task. 図1に示すように、異なる言語からの異なるタスクを事前学習タスクとして再構成することで接続することができる。 0.69
We name the multilingual multitask training model designed in this paper as Polyglot Prompt (PolyPrompt). 本稿では,多言語マルチタスク学習モデルをPolyglot Prompt (PolyPrompt)と呼ぶ。 0.73
Architecturally, we choose the encoder-decoder pre-training framework where more NLP tasks could be unified compared to other architectures such as the mask language model that favors classification-based tasks. アーキテクチャ的には、分類ベースのタスクを好むマスク言語モデルのような他のアーキテクチャと比較して、より多くのNLPタスクを統一できるエンコーダ-デコーダ事前学習フレームワークを選択する。 0.64
Our explorations in this paper are driven by fol- この論文における我々の探索はフールによって駆動される 0.59
lowing research questions: Q1: Could different tasks from different languages benefit from each other by a monolithic framework? Q1: 異なる言語からの異なるタスクは、モノリシックなフレームワークによって互いに恩恵を受けますか? 0.76
If the answer is “Yes”, can the performance be further improved by introducing more high-resource datasets? 答えが “Yes” なら、より多くの高リソースデータセットを導入することで、パフォーマンスをさらに向上できるだろうか? 0.73
4 We develop a new framework for multitask multilingual learning, namely, PolyPrompt. 4) マルチタスク多言語学習のための新しいフレームワーク,すなわちPolyPromptを開発した。 0.78
What’s more, we additionally study 15 English (e g SST2 (Socher et al , 2013)) and 2 multilingual (e g XL-Sum (Hasan et al , 2021)) high-resource datasets. さらに、さらに15の英語(sst2 (socher et al , 2013)と2つの多言語(xl-sum (hasan et al , 2021))の高リソースデータセットについても研究しています。 0.79
The results show that the performance of PolyPrompt is significantly improved compared to single-task training. その結果,polypromptの性能は単タスクトレーニングに比べて有意に向上した。 0.74
After introducing more training datasets, the performance of PolyPrompt can be further enhanced. より多くのトレーニングデータセットを導入した後、PolyPromptのパフォーマンスをさらに向上することができる。 0.66
Q2: Why does PolyPrompt work? Q2: なぜPolyPromptが機能するのか? 0.72
What characteristics of the dataset and language affect the improvement? 改善に影響を与えるデータセットと言語の特徴は何か? 0.81
To answer this question, we design a multilingual interpretable evaluation methodology (Fu et al , 2020; Liu et al , 2021a) to analyze the strengths and weaknesses of the unified framework for different tasks, languages, and language families. この問題に対処するため,多言語対応型評価手法 (Fu et al , 2020; Liu et al , 2021a) を設計し,様々なタスク,言語,言語家族を対象とした統一フレームワークの長所と短所を分析する。 0.84
For example, in the XNLI (Cross-lingual Nat- 例えば XNLI (Cross-lingual Nat) では 0.87
3It’s not challenging to unify different tasks into one framework, but things become more challenging if no additional task-specific parameterized modules are introduced. 3 異なるタスクをひとつのフレームワークに統合することは難しくありませんが、追加のタスク固有のパラメータ化モジュールが導入されなければ、事態はさらに難しくなります。 0.58
4It is relatively easy for us to obtain the training set of relevant tasks in real scenarios. 4 実際のシナリオで関連するタスクのトレーニングセットを取得することは比較的容易です。 0.84
Therefore, the purpose of this research question is to explore whether the data that is relatively easy to obtain from relevant tasks can bring benefits after being introduced into the multi-task learning framework. そこで,本研究の目的は,関連するタスクから比較的容易に得られるデータが,マルチタスク学習フレームワークに導入した上でメリットをもたらすかどうかを検討することである。 0.80
ural Language Inference corpus) (Conneau et al , 2018) dataset, PolyPrompt is better at dealing with samples with short lengths for languages belonging to the IE: Germanic language family while better at samples with the long length for languages belonging to the IE: Indo-Aryan language family. ural language inference corpus) (conneau et al , 2018) dataset, polypromptは、ie: germanic language familyに属する言語に対する短い長さのサンプルを扱うのが得意だが、ie: indo-aryan language familyに属する言語に対する長い長さのサンプルの方が優れている。 0.78
Q3: What makes a good prompt for multilingual multi-task prompt training? q3: 多言語マルチタスクプロンプトトレーニングによいプロンプトは何でしょう? 0.82
Applying prompting methods to the multilingual multitask setting is not as trivial as expected because using the prompt in the single language setting has already suffered from the notorious problem of prompt engineering (Liu et al , 2021b; Sanh et al , 2021), and the introduction of the language dimension will result in more challenges to prompt designing, namely multilingual prompt engineering. 単一言語でのプロンプトの使用は、プロンプトエンジニアリングの悪名高い問題(liu et al , 2021b; sanh et al , 2021)にすでに苦しんでいるため、多言語マルチタスク設定へのプロンプトメソッドの適用は、期待したほど簡単ではない。
訳抜け防止モード: 多言語マルチタスク設定へのプロンプト手法の適用 思ったほど ささやかなことではありません 一つの言語設定のプロンプトを使って すでに、プロンプトエンジニアリングの悪名高い問題(Lu et al)に悩まされている。 2021b ; Sanh et al, 2021 ) および 言語ディメンションの導入は、設計、すなわち多言語プロンプトエンジニアリングの促進により多くの課題をもたらします。
0.77
In this work, we consider two aspects of the prompt designs: the language choice of prompt templates and the uniformity of prompt templates across tasks. 本研究では,プロンプトテンプレートの言語選択とタスク間のプロンプトテンプレートの均一性という,プロンプト設計の2つの側面を考察する。 0.79
Experimental results show that using cross-lingual (English) templates and unified templates for the tasks involved in multi-task training can be more conducive to the interaction between different languages and tasks, resulting in better performance. 実験の結果,クロスリンガル(英語)テンプレートと,マルチタスクトレーニングに関わるタスクを統一したテンプレートを用いることにより,異なる言語とタスク間のインタラクションをより誘導し,パフォーマンスの向上が期待できることがわかった。 0.78
The main contributions of our work are summa- 私たちの仕事の主な貢献は相撲です 0.65
rized as follows. • To the best of our knowledge, this is the first architectural exploration for the learning of multiple conceptually-differe nt tasks (e g , classification, named entity recognition, question answering and summarization) and multiple languages, which relies solely on a monolithic model. 以下のとおり。 • 私たちの知る限りでは、これは概念的に異なる複数のタスク(分類、名前付きエンティティ認識、質問応答、要約など)と、モノリシックなモデルのみに依存する複数の言語を学習するための最初のアーキテクチャ調査です。 0.64
• We introduce the concept of multilingual prompt engineering and provide some preliminary studies on what makes a good multilingual prompt. •多言語プロンプトエンジニアリングの概念を紹介し、何が良い多言語プロンプトであるかを予備的研究する。 0.83
• We have done extensive experiments in inlanguage training, cross-lingual zero-shot transfer, and cross-task & cross-lingual zero-shot transfer scenarios and design an interpretable multilingual evaluation to understanding how multitask multilingual prompting works and give some interesting observations. • 言語訓練,多言語間ゼロショット転送,クロスタスクおよび多言語間ゼロショット転送シナリオの広範な実験を行い,多言語間プロンプトがどのように機能するかを理解し,興味深い観察を行うために,解釈可能な多言語評価を設計した。 0.67
(Sec. 5.2) 2 Related Work Multi-task & Multi-lingual Learning The development of neural nets makes it easier to share information across tasks or languages. (第5条) 2 関連作業 マルチタスクと多言語学習 ニューラルネットの開発により、タスクや言語間での情報共有が容易になる。 0.70
In the past few years, it is not uncommon to find research work on multi-task learning in the same language (Liu et al , 2015, 2016; Søgaard and Goldberg, 2016; Kumar 過去数年間、同じ言語でマルチタスク学習の研究成果を見つけることは珍しくない(liu et al , 2015; søgaard and goldberg, 2016; kumar)。 0.66
英語(論文から抽出)日本語訳スコア
et al , 2016) or multi-language learning in the same type of task, such as sequence labeling (Yang et al , 2016; Lin et al , 2018), text summarization (Hasan et al , 2021) and machine translation (Dong et al , 2015; Mahabadi et al , 2021; Hu et al , 2021). 例えば、シーケンスラベリング(Yang et al , 2016; Lin et al , 2018)、テキスト要約(Hasan et al , 2021)、機械翻訳(Dong et al , 2015; Mahabadi et al , 2021; Hu et al , 2021)である。
訳抜け防止モード: あるいは、同じタイプのタスクにおけるマルチ言語学習です。 例えば、シーケンスラベリング ( Yang et al, 2016 ; Lin et al, 2018年)、テキスト要約(Hasan et al, 2021)。 機械翻訳 (Dong et al, 2015 ; Mahabadi et al,) 2021年、Hu et al , 2021年。
0.70
However, the task of learning different languages and tasks simultaneously in a unified learning framework without task- or language-dependent parameters remains under explored. しかし,タスク依存パラメータや言語依存パラメータを含まない統合学習フレームワークでは,異なる言語やタスクを同時に学習するタスクが検討されている。
訳抜け防止モード: しかし 任務は タスクや言語を使わずに統一学習フレームワークで異なる言語とタスクを同時に学習する - パラメータ 遺構は調査中。
0.84
Multi-lingual Learning with Pretrained Models The advent of multilingual pretrained language models allows texts in different languages to be unified into the same semantic space, which has become a popular backbone of various tasks for multilingual learning. 事前学習モデルによる多言語学習 多言語事前訓練言語モデルの出現により、異なる言語のテキストを同じ意味空間に統合することが可能となり、多言語学習のための様々なタスクのバックボーンとして人気になった。 0.74
Most existing works of multilingual learning with PLMs mainly revolve around two folds: (1) in-language learning (Hasan et al , 2021), where training samples in different languages are provided and will be used to finetune PLMs (2) out-of-language learning (Hu et al , 2020), where only training samples with rich languages (e g , English) are provided to tune PLMs, which will then be evaluated on languages unseen during training phase. 言語内学習(hasan et al , 2021)は異なる言語でトレーニングサンプルを提供し、plm (2)言語外学習(hu et al , 2020)を微調整するために使用される。
訳抜け防止モード: PLMを用いた多言語学習のほとんどの研究は、主に2つの折り畳み、 (1 ) in-Language Learning (Hasan et al, 2021 )を中心に展開している。 様々な言語のサンプルが提供され 言語学習(Hu et al, 2020 )から PLM (2 ) を抽出するために使用される。 豊かな言語(例えば、英語)でサンプルを訓練するだけである。 PLMをチューニングし、トレーニングフェーズ中に見つからない言語で評価される。
0.77
Prompting Methods Prompting is a technique that aims to make better use of pre-trained knowledge by reformulating tasks at hand (Liu et al , 2021b). Prompting Methods Promptingは、手元にあるタスク(Liu et al , 2021b)を再構成することで、事前訓練された知識をよりよく活用することを目的とした技術である。
訳抜け防止モード: Prompting Methods Promptingは、事前訓練された知識をよりよく活用することを目的としたテクニックである。 作業の見直し (Liu et al, 2021b )。
0.70
The advent of prompting allows us to do more with one system, i.e., unifying signals cross tasks (Sanh et al , 2021), languages (Zhao and Schütze, 2021), even modality (Zhao et al , 2021). プロンプトの出現により、1つのシステム、すなわち、信号の統一クロスタスク(sanh et al , 2021)、言語(zhao and schütze, 2021)、さらにはモダリティ(zhao et al , 2021)でさらに実行することが可能になります。 0.77
In this paper, we continue to expand what one system can do by proposing multilingual multitask learning with prompting methods, connecting geographically diverse languages and linguistically different tasks. 本稿では,地理的に多様な言語と言語的に異なるタスクを接続し,多言語マルチタスク学習を提案することで,ひとつのシステムにできることを拡張し続ける。 0.80
3 Multi-task Multi-lingual 3つのマルチタスク多言語 0.60
Promptraining プロンプトレーニング 0.56
We unify different tasks from different languages by reformulating different NLP tasks as a sequence to sequence problem (Sutskever et al , 2014; Bahdanau et al , 2015) so that they can be connected by one pre-trained language model (mT5 (Xue et al , 2021)) that also adopts a sequence-to-sequence training objective. 我々は、異なるNLPタスクをシーケンスからシーケンスへの問題(Sutskever et al , 2014; Bahdanau et al , 2015)として再構成することで、異なる言語からのタスクを統一し、トレーニング済みの1つの言語モデル(mT5 (Xue et al , 2021))で接続できるようにし、シーケンスからシーケンスへのトレーニング目標も採用する。 0.73
Fig 2 illustrates the overview of the proposed framework. 図2は提案されたフレームワークの概要を示している。 0.68
Each sample from different tasks will be re-formatted as a (prompt, answer) pair using pre-defined templates and then be fed into a multilingual pre-trained language model. 異なるタスクからのサンプルは、事前定義されたテンプレートを使用して(prompt, answer)ペアとして再フォーマットされ、その後、多言語で事前学習された言語モデルに供給される。 0.58
Formally, given a task set T ={T1, T2, , Tn} {K1, K2, , Kn} (we assume that each task has 形式的には、あるタスク集合 T ={T1, T2, s, Tn} {K1, K2, s, Kn} が与えられる(各タスクが持つと仮定する)。
訳抜け防止モード: 形式的には、与えられたタスク集合 T = { T1, T2, s, Tn } { K1, K2, s, Kn } ( それぞれのタスクが
0.91
with n tasks and corresponding templates K = n のタスクと対応するテンプレート K = 0.83
one prompt for easy understanding). 理解し易いことの1つ) 0.71
First, we transform the samples in each task into a form understandable by the language model based on the predefined prompt. まず,各タスクのサンプルを,事前定義されたプロンプトに基づいて言語モデルによって理解可能な形式に変換する。 0.76
Assuming that X and Y represent the pair of to-be-encoded text and tobe-decoded text for all tasks, respectively, and x と y はそれぞれ、to-be-encoded text と tobe-decoded text のペアを表すと仮定する。 0.80
(X, Y) =[,(xi,j, yi,j), ], where xi,j and yi,j (x, y) =[],(xi,j,yi,j), ], ここで xi,j と yi,j 0.63
represents to-be-encoded text and to-be-decoded text for the j-th sample of the i-th task, respectively. i-thタスクのj-thサンプルのto-be-encodeed textとto-be-decodeed textを表す。 0.63
Given a predefined template of the i-th task Ki, the to-be-encoded prompt text ˆxi,j and the tobe-decoded prompt text ˆyi,j can be defined as: i-th タスク Ki の事前定義されたテンプレートが与えられた場合、to-be-encoded プロンプトテキストはxi,j で、to-be-decoded プロンプトテキストはyi,j で定義できる。
訳抜け防止モード: i - th task ki の事前定義されたテンプレートが与えられる。 to - be - エンコードされたプロンプト sxi, j and the tobe - decoded prompt text syi , j can be as:
0.71
where i ∈[1, n], j ∈[1,ࢯTiࢯ]. ここで、i ∈[1, n], j ∈[1,] である。 0.71
ࢯTiࢯ denotes the ti" は "the" を表す 0.31
(1) (2) ˆxi,j = Ki(xi,j), ˆyi,j = Ki(yi,j), (1) (2) xi,j = ki(xi,j)、yi,j = ki(yi,j) 0.39
number of samples for the i-th tasks. i-thタスクのサンプルの数。 0.71
For multi-task training, samples from n tasks will be simultaneously fed into a language model. マルチタスクトレーニングでは、nタスクのサンプルが同時に言語モデルに入力される。 0.73
Since we choose the text-to-text language model, it allows us to use the standard encoder-decoder objective that maximizes the log-likelihood of the to-be-decoded text from the model’s output. テキストからテキストへの言語モデルを選択するので、モデルの出力からto-be-decodedテキストのログライク度を最大化する標準エンコーダ-デコーダの目的を使用できる。 0.78
The loss function can be defined as: 損失関数は次のように定義できる。 0.76
L = (cid:61)(ˆx,ˆy)∈(X,Y) log(ࢯˆyࢯ(cid:53) P(ˆymࢯˆy<m, ˆx; θ)) where(ˆx, ˆy) ∈(X, Y) represents a sequence-tosequence text pair for any task. l = (cid:61)(-x,-y)ψ(x,y) log(-y,(cid:53) p(x,-y) ∈(x, y) 任意のタスクに対してシーケンス列のテキスト対を表す。
訳抜け防止モード: l = (cid:61)(y,y)html(x, y) log(y,(cid:53 ) p(ym)y < m である。 x ; θ ) ) where(\x, zyy ) ∈(x, y ) は任意のタスク に対してシーケンス-列テキスト対を表す。
0.75
ࢯˆyࢯ is the number m=1 は、数字である。 m=1。 0.50
(3) of tokens in the decoded text, and y<m is the target tokens before time step m. (3) 復号されたテキストのトークンとy<mは、ステップmの前にターゲットトークンである。 0.54
4 Experiment Setup 4.1 Tasks & Datasets The datasets studied in this work are shown in Tab. 4 Experiment Setup 4.1 Tasks & Datasets この研究で研究されたデータセットはTabで示されています。 0.71
1. We refer to those tasks that provide both training and test sets for multi-task training as target tasks. 1. マルチタスクトレーニングのためのトレーニングセットとテストセットの両方をターゲットタスクとして提供するタスクを参照します。
訳抜け防止モード: 1. 私たちはこれらのタスクを ターゲットタスクとしてマルチタスクトレーニングのためのトレーニングとテストセットを提供する。
0.56
To explore the influence of introducing more high-resource English and multilingual datasets for multi-task prompt training, we present the expanding tasks, which only provide training data. マルチタスク・プロンプトトレーニングのための高リソースな英語および多言語データセットの導入の影響を検討するため,トレーニングデータのみを提供する拡張タスクを提案する。 0.79
In summary, we study 7 multilingual target datasets covering 4 NLP tasks, and 17 English or multilingual expanding datasets from 6 NLP tasks. 要約すると、4つのNLPタスクをカバーする7つの多言語ターゲットデータセットと、6つのNLPタスクから17の英語または多言語拡張データセットについて検討する。 0.58
4.1.1 Target Tasks XQuAD (Artetxe et al , 2020) is a cross-lingual question answering dataset, including 11 languages. 4.1.1 Target Tasks XQuAD (Artetxe et al , 2020) は11言語を含む言語間質問応答データセットである。 0.82
英語(論文から抽出)日本語訳スコア
Figure 2: The framework for multi-task multi-lingual prompt training. 図2: マルチタスク多言語プロンプトトレーニングのためのフレームワーク。 0.83
mPLM can be any encoder-decoder based pre-trained language model. mPLMは任意のエンコーダデコーダベースの事前訓練言語モデルである。 0.63
Its English dataset is a subset of the development set of SQuAD v1.1. 英語のデータセットはSQuAD v1.1の開発セットのサブセットである。 0.81
The other 10 languages are the professional translations of the English dataset. その他の10言語は、英語データセットのプロ翻訳である。 0.83
Therefore, the dataset in 11 languages is completely parallel. したがって、11言語のデータセットは完全に並列である。 0.77
MLQA (Lewis et al , 2020) is another multilanguage extractive QA dataset, including 7 languages. MLQA (Lewis et al , 2020) は7言語を含む別の多言語抽出QAデータセットである。 0.84
Each QA instance is paralleled between 4 languages on average. 各QAインスタンスは平均して4つの言語間で並列化される。 0.62
Since the MLQA and XQuAD lack training sets, following (Hu et al , 2020), we use the training data of SQuAD v1.1 as their training set. MLQAとXQuADにはトレーニングセットがないので(Hu et al , 2020)、トレーニングセットとしてSQuAD v1.1のトレーニングデータを使用します。 0.80
TyDiQA-GoldP (TyDiQA) (Clark et al , 2020) is the gold passage version of the TyDiQA benchmark, including 9 languages for training, development, and testing. TyDiQA-GoldP(TyDiQA- GoldP)は、TyDiQAベンチマークのゴールドパスバージョンで、トレーニング、開発、テスト用の9つの言語を含んでいる。
訳抜け防止モード: TyDiQA - GoldP (TyDiQA ) (Clark et al, 2020 )は、TyDiQAベンチマークのゴールドパスバージョンである。 トレーニング、開発、テストのための9つの言語を含む。
0.76
TyDiQA-GoldP is a simplified version of the primary task, discarding Thai and Japanese languages and samples without answers. TyDiQA-GoldPは、タイ語と日本語を廃止し、回答なしでサンプルを削除した最初のタスクの簡易版である。
訳抜け防止モード: tydiqa - goldpはプライマリタスクの簡略化版である。 回答なしでタイ語と日本語とサンプルを捨てる。
0.64
Like XQuAD and MLQA, TyDiQA is evaluated with SQuAD 1.1 (Rajpurkar et al , 2016) metrics. XQuADやMLQAと同様に、TyDiQAはSQuAD 1.1(Rajpurkar et al , 2016)メトリクスで評価される。 0.78
XNLI (Conneau et al , 2018) is a cross-lingual natural language inference dataset containing annotated development and test sets in 15 languages, and an annotated English training set. XNLI (Conneau et al , 2018) は15言語で注釈付き開発とテストセットと注釈付き英語のトレーニングセットを含む言語間自然言語推論データセットである。 0.88
The English training set has been translated into the other 14 languages through a machine translator.5 英語のトレーニングセットは機械翻訳者.5によって他の14言語に翻訳された。 0.73
PAWS-X (Yang et al , 2019) is a cross-lingual paraphrase adversary from a word scrambling dataset with 7 languages. PAWS-X(Yang et al , 2019)は、7つの言語を持つ単語スクランブルデータセットからの言語間パラフレーズの敵である。 0.67
The goal of this task 5https://console.clo ud.google.com/ storage/browser/xtre me_translations この課題の目標は 5https://console.clo ud.google.com/ storage/browser/xtre me_translations 0.44
is to predict whether two sentences are paraphrases. 2つの文がパラフレーズかどうかを 予測することです 0.60
The training set of PAWS-X is the PAWS’s training data, and the subset of PAWS’s development and test sets are translated into 6 other non-English datasets for evaluation. PAWS-XのトレーニングセットはPAWSのトレーニングデータであり、PAWSの開発とテストセットのサブセットは、評価のために他の6つの非英語データセットに変換される。 0.83
MARC (Multilingual Amazon Reviews Corpus) (Keung et al , 2020) is a multilingual text classification dataset with 6 different languages. MARC (Multilingual Amazon Reviews Corpus, Keung et al , 2020)は、6つの異なる言語からなる多言語テキスト分類データセットである。 0.88
Here, we use the binarized classification task that is defined by Keung et al (2020). ここでは、Keung et al (2020) によって定義された二項化分類タスクを用いる。 0.72
MLDOC (Schwenk and Li, 2018) is a multilingual document classification dataset with six topics. MLDOC(Schwenk and Li, 2018)は6つのトピックからなる多言語文書分類データセットである。 0.82
4.1.2 Expanding Tasks Expanding tasks simply provide training sets for the multi-task prompt training. 4.1.2 タスクの拡張 タスクの拡張は、単にマルチタスクプロンプトトレーニングのためのトレーニングセットを提供する。 0.60
In summary, we studied 15 English and 2 multilingual datasets. 要約すると、15の英語と2の多言語データセットについて検討した。 0.52
Extractive Question Answering is the task of finding an answer to a given question from context. 抽出質問回答は、コンテキストから与えられた質問に対する回答を見つけるタスクである。 0.79
We adopt SQuAD 2.0 (Rajpurkar et al , 2016), Quoref (Dasigi et al , 2019), NewsQA (Trischler et al , 2017), and ROPES (Lin et al , 2019). 我々は、SQuAD 2.0 (Rajpurkar et al , 2016), Quoref (Dasigi et al , 2019), NewsQA (Trischler et al , 2017), ROPES (Lin et al , 2019)を採用しています。 0.91
Multiple-choice Question Answering aims to select an answer from candidate options based on the context and the question. 複数選択質問回答は、コンテキストと質問に基づいて、候補オプションから回答を選択することを目的としている。
訳抜け防止モード: 多重-選択質問応答の目的 候補オプションから、文脈と質問に基づいて回答を選択する。
0.77
In this work, we study the MCTest (Richardson et al , 2013) and Social IQa (Sap et al , 2019). 本研究では,MCTest (Richardson et al , 2013) とSocial IQa (Sap et al , 2019) について検討する。 0.81
Natural Language Inference aims to determine the inference relation (e g entailment) between two texts. 自然言語推論は、2つのテキスト間の推論関係(egエンターメント)を決定することを目的としている。
訳抜け防止モード: 自然言語推論の目的 2つのテキスト間の推論関係(例えば、含意)を決定する。
0.75
The datasets used in this work are Quora,6 6https://huggingface .co/datasets/quora この研究で使われるデータセットは quora,6 6https://huggingface .co/datasets/quora である。 0.41
Answer the question based on the paragraph. その質問は段落に基づいて回答する。 0.64
| Question: [Question] | Paragraph: [Context]News: 連邦政府は150億マルクの税収不足…Answer the question based on the news. 質問: [Question] | パラグラフ: [Context]News: 人が死亡したマルクのacterick ... ニュースに基づいて質問に答える。 0.47
| Question : What topic does this news belong to ? 質問 : このニュースはどのトピックに属するのか? 0.81
| (A) Business and Industry. (a)事業及び産業。 0.64
(B) Economy. (C) Government and Society. (B)経済。 (C)政府と社会。 0.37
(D) Market. | News : [News]Text1: ฉันก็เลยไม่แน่ใจจริงๆว่าทําไม...Text2:sฉันมั7นใจถึงเหตุผล...Answer the question based on paragraph 1 and paragraph 2 . (D)市場。 |News: [News]Text1: s....Text2:s.7.... 第1段落と第2段落に基づく質問に答える。
訳抜け防止モード: (D)市場。 | News : [News]Text1 : .... Text2 : . . 第一項及び第二項に基づく質問に対する回答
0.51
| Question : Do Paragraph 1 and Paragraph 2 mean the same thing ? 質問 : パラグラフ1とパラグラフ2は同じことを言っているか? 0.65
| ( A ) Yes . ( B ) (A)はい。 (B) 0.48
No . ( C ) Maybe . いいえ。 (C) おそらく。 0.61
| Paragraph 1 : [Text1] Paragraph 2 : [Text2]Text: দুগ$াপুজায়মিহষাসুরবেধমধিদেয়অ4ভরওপর4ভরিবজয়7দখােনাহয়...[Text] In summary, Plain textQuestion AnsweringPrompt Template卡万·肖特MarketTopic ClassificationNLIPol yglotPromptSummariza tionNoিহ#ুবাঙালীরা+যসমেয়তােদরসবেথেকবড়উৎসবদুগ9াপূজাউদযাপনকেরন...Language ModelAnswer Context:黑豹队的防守只丢了308分…Question: 谁为球队贡献的擒杀最多? 第1段落 : [text1]段落 2 : [text2]text: [$4,4,7,... [text] 要約すると、平易なテキストクエスチョン・レスポンス・プロプト・テンプレート(英語版) 万能多言語プロプト・サムマーミゼーション(英語版) 分類nlipolyglotpromptsum marization(英語版) 名詞のモデル・アンスワー(英語版) 文脈(英語版)
訳抜け防止モード: | 段落 1 : [text1 ] 段落 2 : [text2] 段落 : ... [text ] 平易なテキストクエスチョン・プロンプト・テンプレート (textquestion answeringprompt template) は、多言語プロンプト・サムマライゼーション (polyglotpromptsumma rization) の分類である。
0.56
英語(論文から抽出)日本語訳スコア
Domain Lang. Metric 藩 ラング メートル法 0.41
Dataset Task Target tasks データセット Task Target タスク 0.70
QA SC TC SPC QA SC TC SPC 0.43
XQuAD TyDiQA MLQA XQuAD TyDiQA MLQA 0.43
MARC MLDOC PAWS-X XNLI マーク MLDOC paws-x xnli 0.44
Wikipedia Wikipedia Wikipedia Wikipediaウィキペディア 0.61
Amazon Reuters Amazon ロイター 0.44
Wikipedia/Quora Misc. Wikipedia/Quora Misc 0.44
11 9 7 6 8 11 9 7 6 8 0.43
7 15 45 40 7 15 45 40 0.43
1 1 1 1 1 1 1 1 1 1 1 1 0.42
1 1 1 1 1 1 1 1 1 1 1 1 0.42
1 1 1 F1 / EM F1 / EM F1 / EM 1 1 1 F1 / EM F1 / EM F1 / EM 0.44
Acc. Acc. Acc. acc。 acc。 acc。 0.30
Acc. - - - acc。 - - - 0.39
- - - Expanding Tasks - - - タスクの拡張 0.50
Summ. XL-Sum うーん。 XL-Sum 0.34
BBC NER Wikiann BBC nerウィキアン 0.52
Wikipedia SQuAD 2.0 Wikipedia Quoref Wikipedia CNN NewsQA Textbooks/Wikipedia ROPES Misc. Wikipedia SQuAD 2.0 Wikipedia Quoref Wikipedia CNN NewsQA Textbooks/Wikipedia ROPES Misc 0.44
MCTest Social IQa Misc. mctest social iqa miscを参照。 0.59
DBpedia-2014 DBpedia AG_News Reuters Yahoo! YATC DBpedia-2014 DBpedia AG_News Reuters Yahoo! 0.42
IMDB SST2 ARP IMDB SST2 ARP 0.47
Quora RTE SNLI Quora RTE SNLI 0.43
IMDb Rotten Tomatoes Amazon IMDb Rotten Tomatoes Amazon 0.43
Quora News/Wikipedia Misc. Quora News/Wikipedia Misc 0.47
QA TC SC SPC QA TC SC SPC 0.43
Table 1: The tasks and datasets studied in this work. 表1: この作業で研究されたタスクとデータセット。 0.80
Lang. and Acc. ラング そしてAcc。 0.41
denote “Language” and “Accuracy”. 言語」と「正確性」をいう。 0.75
Summ. , NER, QA, TC, SC, and SPC are abbreviations for Summarization, Named Entity Recognition, Question Answering, Topic Classification, Sentiment Classification, and Sentence Pair Classification. うーん。 NER, QA, TC, SC, SPCは要約, 名前付きエンティティ認識, 質問回答, トピック分類, 感性分類, 文ペア分類の略である。 0.56
“-” indicates that the task is not used for evaluation. は、そのタスクが評価に使われていないことを示している。 0.54
“Misc.” indicates that the dataset was artificially constructed or of unclear origin. misc.”は、データセットが人工的に構築されたか、起源が不明であることを示している。 0.49
RTE (Wang et al , 2019a), and SNLI (Bowman et al , 2015). rte (wang et al , 2019a) と snli (bowman et al , 2015) である。 0.68
Topic Classification is a task to predict a suitable topic (e g health) for a given text. トピック分類は、与えられたテキストに適したトピック(例えば健康)を予測するタスクである。 0.81
We use the following topic classification datasets: DBpedia-2014 (Zhang et al , 2015), AG_News (Zhang et al , 2015), and YATC (Yahoo! Answers Topic Classification Dataset) (Zhang et al , 2015). DBpedia-2014 (Zhang et al , 2015), AG_News (Zhang et al , 2015), YATC (Yahoo! Answers Topic Classification Dataset) (Zhang et al , 2015)。 0.31
Sentiment Classification aims to identify the sentiment polarity of a given text. 感性分類は、与えられたテキストの感情極性を特定することを目的としている。 0.55
We studied datasets IMDB (Maas et al , 2011), Amazon Review Polarity (ARP) (Zhang et al , 2015), and SST2 (Socher et al , 2013). 我々は,imdb (maas et al , 2011), amazon review polarity (arp) (zhang et al , 2015), sst2 (socher et al , 2013) のデータセットを調査した。 0.76
XL-Sum (Hasan et al , 2021) is a multilingual summarization dataset covering 45 low- to highresource languages. XL-Sum (Hasan et al , 2021) は45の低-高ソース言語をカバーする多言語要約データセットである。 0.69
We randomly select 32 out of 45 languages for multi-task prompt training. マルチタスクプロンプトトレーニングでは45言語中32言語をランダムに選択する。 0.77
The ISO-639-1 codes of the chosen languages are en, ar, vi, ko, es, zh, ru, fr, tr, hi, id, fa, pt, mr, th, az, bn, 選択された言語のISO-639-1符号は en, ar, vi, ko, es, zh, ru, fr, tr, hi, id, fa, pt, mr, th, az, bn である。 0.90
np, sr, sw, ta, te, ur, cy, am, my, gu, ha, ig, pa, si, yo. np, sr, sw, ta, te, ur, cy, am, my, gu, ha, ig, pa, si, yo.
訳抜け防止モード: np, sr, sw, ta, te, ur, シー、俺、俺、グ、ハ、イグ。 おやおやおやおやおや。
0.72
PANX (Pan et al , 2017) is a multilingual named entity recognition dataset in 40 languages constructed based on Wikipedia corpus. panx (pan et al , 2017) は、ウィキペディアのコーパスに基づいて構築された40の言語からなる多言語名エンティティ認識データセットである。 0.69
Following Hu et al (2020), we use the version with balanced train, development, and test splits from Rahimi et al (2019). hu et al (2020) に続いて、このバージョンはrahimi et al (2019) から分離した列車、開発、テストのバランスを取っている。 0.74
4.2 Model Settings Vanilla mT5 is a single-task training model. 4.2 model settings vanilla mt5はシングルタスクトレーニングモデルである。 0.69
In the cross-lingual zero-shot transfer setting, mT5 is trained on the training set in English of the specific task (e g XNLI), while in the in-lingual training setting, mT5 is trained on the training samples in all languages for the particular task (e g XNLI). 言語間ゼロショット転送設定では、mT5は特定のタスクの英語のトレーニングセット(eg XNLI)でトレーニングされる一方、言語内トレーニング設定では、mT5は特定のタスクのすべての言語(eg XNLI)でトレーニングサンプルでトレーニングされる。 0.78
Polyglot Prompt (PolyPrompt) is a multilingual multi-task prompt training model that combines 7 target datasets by the prompt mechanism for training. 多言語プロンプト(polyglot prompt、polyprompt)は、7つのターゲットデータセットとプロンプトメカニズムを組み合わせた多言語多タスクプロンプトトレーニングモデルである。
訳抜け防止モード: Polyglot Prompt (PolyPrompt )は多言語マルチタスクプロンプトトレーニングモデルである 7つのターゲットデータセットを 訓練のプロンプトメカニズムで組み合わせます
0.88
The details of the 7 target datasets are shown in Sec. 4.1.1. 7つのターゲットデータセットの詳細は、sec. 4.1.1に示されている。 0.56
PolyPrompt+Expand is a multilingual multi-task prompt training model, which will combine 7 target datasets and 15 high-resource expanding datasets by the prompt mechanism for training. polyprompt+expandは多言語マルチタスクプロンプトトレーニングモデルで、7つのターゲットデータセットと15の高リソース拡張データセットをトレーニングのためのプロンプトメカニズムで結合する。 0.72
A detailed description of the 7 target datasets and 15 highresource English datasets can be found in Sec. 4.1. 7つのターゲットデータセットと15の高リソース英語データセットの詳細な説明は、sec 4.1で見ることができる。 0.64
PolyPrompt+Expand+PANX is a multilingual multitask prompt training model, and its training set includes the training samples of 7 target datasets, 15 high-resource English datasets, and a multilingual NER task (PANX). PolyPrompt+Expand+PANXはマルチリンガルなマルチタスクプロンプトトレーニングモデルであり、トレーニングセットには7つのターゲットデータセット、15の高リソースの英語データセット、マルチリンガルなNERタスク(PANX)のトレーニングサンプルが含まれている。 0.68
PolyPrompt+Expand+XLSum is a multilingual multitask prompt training model whose training set contains 7 target datasets from 4 tasks, 15 highresource English datasets, and a multilingual summarization dataset (XL-Sum). polyprompt+expand+xlsumは、4つのタスクから7つのターゲットデータセット、15の高リソースな英語データセット、多言語要約データセット(xl-sum)を含む多言語多タスク即発学習モデルである。
訳抜け防止モード: PolyPrompt+Expand+XLSumは4つのタスクから7つのターゲットデータセットを含む多言語マルチタスクプロンプトトレーニングモデルである。 マルチリンガル要約データセット (XL - Sum )。
0.84
4.3 Training Settings There are three experimental scenario settings explored in this paper, namely in-language training, cross-lingual zero-shot transfer, and cross-task & cross-lingual zero-shot transfer. 4.3 トレーニング設定 本論文では,言語内トレーニング,言語間ゼロショット転送,タスク間および言語間ゼロショット転送の3つの実験シナリオについて検討した。 0.69
In-language training: we fine-tune the model on multiple datasets in the target languages, where training data for each target language is available. 言語内トレーニング: ターゲット言語内の複数のデータセット上でモデルを微調整する。
訳抜け防止モード: in - 言語トレーニング: ターゲット言語の複数のデータセットでモデルをチューニングします。 ターゲット言語毎のトレーニングデータが利用可能である。
0.84
For those datasets (XQuAD, MLQA, XNLI, and PAWS-X) without official training set in nonEnglish languages, following Hu et al (2020); Ruder et al (2021), we use the translation version published by Hu et al (2020) that are con- これらのデータセット (XQuAD, MLQA, XNLI, PAWS-X) に対して、Hu et al (2020), Ruder et al (2021), Hu et al (2020) が公開している翻訳版はコンコードである。
訳抜け防止モード: これらのデータセット(XQuAD、MLQA、XNLI、PAWS - X)は、英語以外の言語で公式トレーニングセットなしで利用できる。 Hu et al (2020 ) ; Ruder et al (2021 ) We use the translation version published by Hu et al ( 2020 ) which is con-
0.86
英語(論文から抽出)日本語訳スコア
structed based on Google Translator 7 as the target language’s training set. ターゲット言語のトレーニングセットとしてGoogle Translator 7に基づいて構築されている。 0.80
Cross-lingual zero-shot transfer: the model is fine-tuned on training samples in English and tested in English as well as other target languages (e g zh and es) (Hu et al , 2020). 言語間ゼロショット転送: モデルは英語のトレーニングサンプルに微調整され、英語および他のターゲット言語(eg zh, es)と同様にテストされる(Hu et al , 2020)。 0.86
Cross-task & cross-lingual zero-shot transfer: to evaluate the model’s generalization ability, we tested the PolyPrompt and PolyPrompt+Expand models fine-tuned in the zero-shot transfer learning setting on the PANX dataset belonging to the NER task. クロスタスクと言語間のゼロショット転送:モデルの一般化能力を評価するため、NERタスクに属するPANXデータセット上のゼロショット転送学習設定で微調整されたPolyPromptとPolyPrompt+Expandモデルをテストした。 0.78
The task and languages of PANX were not visible for both evaluated models. PANXのタスクと言語はどちらも評価されたモデルでは見えなかった。 0.71
4.4 Languages In this work, we studied 49 languages that appear in 24 datasets covering 6 NLP tasks. 4.4言語 この研究では、6つのNLPタスクをカバーする24のデータセットに現れる49の言語を調査した。 0.65
For brevity, the languages are shown in ISO 639-1 codes8 as follows: af, am, ar, az, bg, bn, cy, de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, hi, hu, id, ig, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, np, pa, pt, ru, si, sw, ta, te, th, tl, tr, ur, vi, yo, zh. af, am, ar, az, bg, bn, cy, de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, hi, hu, id, ig, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, np, pa, pt, ru, si, sw, ta, th, tl, tr, ur, vi, yo, zh。
訳抜け防止モード: 簡潔性については、ISO 639 - 1 codes8 で次のように示されている。 am、ar、az、bg、bn、cy、 de, el, en, es, et, eu, fa, fi, fr, gu, ha, he, こんにちは、私はd、ig、それ、ja、jv、 カ、KK、コ、ML、ミスターMS 私のnl、np、pa、pt、ru si, sw, ta, te,th, tl, tr , ur , vi , yo , zh
0.71
Among them, zh, ja, th, te, km are languages that do not use space separation for words. このうち、zh, ja, th, te, km は単語に空間分離を使用しない言語である。 0.79
4.5 Training and Evaluation Setup Training The PolyPrompt model proposed in this paper is based on mT5 (Xue et al , 2021), a multilingual variant of T5 (Raffel et al , 2020). 4.5 トレーニングおよび評価設定トレーニング 本論文で提案するポリプロンプトモデルは,T5 の多言語版である mT5 (Xue et al , 2021) に基づいている。 0.82
Our experiments study the mT5-base version (Wolf et al , 2020) with 580 million parameters. 実験では,mT5ベースバージョン(Wolf et al , 2020)を5億8000万のパラメータで検討した。 0.59
For all experiments, we use token limits of size 512 and 64 for input and output sequences, respectively. すべての実験では、入力シーケンスと出力シーケンスにそれぞれ512と64のトークン制限を使用します。 0.74
All models have a learning rate of 1e − 4, the batch size is set to 18, and are trained for 20 epochs. すべてのモデルは1e − 4の学習率を持ち、バッチサイズは18に設定され、20エポックでトレーニングされる。 0.80
During training, checkpoints are saved every 1, 000 steps. トレーニング中、チェックポイントは10,000ステップ毎にセーブされる。 0.69
The model with the best performance on the validation set will be selected. 検証セット上で最高のパフォーマンスを持つモデルが選択されます。 0.84
Some datasets have a large number of training samples, such as the sentence pair classification task XNLI has 4.5 million samples. いくつかのデータセットには多数のトレーニングサンプルがあり、例えば文ペア分類タスクXNLIは450万のサンプルを持っている。 0.69
To reduce the expensive computational cost in our experiments, we sample 3, 000 samples per language for 7 target datasets from 4 tasks for all evaluated models. 実験における計算コストを削減するため、評価された全てのモデルで4つのタスクから7つのターゲットデータセットに対して、言語毎に30000のサンプルをサンプリングしました。 0.67
For the expanding tasks, we randomly select 5, 000 samples for each expanding dataset as the training set for that task. 拡張タスクでは、そのタスクのトレーニングセットとして、拡張データセット毎に5,000のサンプルをランダムに選択します。 0.69
7https://translate.g oogle.com/ 8https://en.wikipedi a.org/wiki/List_ 7https://translate.g oogle.com/ 8https://en.wikipedi a.org/wiki/List_ 0.15
of_ISO_639-1_codes OF_ISO_639-1_codes 0.11
Evaluation Metric In this paper, we study 7 different multilingual datasets covering 4 NLP tasks whose evaluation metrics are summarized in Tab. 本稿では,評価メトリクスをタブにまとめる4つのnlpタスクをカバーする7つの多言語データセットについて検討する。 0.68
1. The metric accuracy is used for XNLI, PAWS-X, MLDOC, and MARC, while F1 (Chen et al , 2004) and exact match (EM) (Rajpurkar et al , 2016) are employed for XQuAD, TyDiQA, and MLQA. 1. 計量精度はXNLI、PAWS-X、MLDOC、MARCで、F1(Chen et al , 2004)と正確なマッチング(EM)(Rajpurkar et al , 2016)はXQuAD、TyDiQA、MLQAで使用される。 0.56
5 Results & Analysis In this section, we will detail experimental results and analysis. 5 結果と分析 本節では,実験結果と分析について詳述する。 0.80
5.1 Exp-I: Effect of Multi-task Prompt 5.1 Exp-I:マルチタスクプロンプトの効果 0.71
Training The experiment in this section is designed to answer research question Q1 (Sec.1). 研修 本項の実験は、研究Q1(Sec.1)に答えるように設計されている。 0.64
Specifically, we investigate whether multilingual multi-task prompt training (PolyPrompt) can achieve improvement and whether the performance of PolyPrompt can be further improved by introducing more highresource datasets. 具体的には、多言語マルチタスク・プロンプト・トレーニング(PolyPrompt)が改善可能か、さらに高リソースデータセットを導入してPolyPromptの性能をさらに向上できるかを検討する。 0.69
5.1.1 Approach Average Performance: We calculated the average performance on the 7 target datasets to observe the performance changes brought by multi-task training from a holistic perspective. 5.1.1アプローチ 平均パフォーマンス: 総合的な観点からマルチタスクトレーニングによるパフォーマンス変化を観察するため、7つのターゲットデータセットの平均パフォーマンスを計算した。 0.83
The results are shown in the column named “Avg.” in Tab. 結果はTabの“Avg.”というコラムに示されている。 0.76
2. Performance Improvement at language-level: To observe the performance improvement of PolyPrompt relative vanilla mT5 in terms of language granularity, we subtract the performance of vanilla mT5 from PolyPrompt (and its variants) on each language. 2. 言語レベルでのパフォーマンス向上: 言語粒度の観点からPolyPromptの相対的バニラmT5の性能改善を観察するために、各言語上のPolyPrompt(およびその変種)からバニラmT5のパフォーマンスを減じる。 0.65
The results are shown in Fig 3. 結果は図3に示されます。 0.84
Significance Tests: To examine whether the PolyPrompt and its variants are significantly better than the vanilla mT5, we perform the significance test with Wilcoxon’s Signed-rank Test (Wilcoxon et al , 1970) at p = 0.05. 重要なテスト: ポリプロンプトとその変種がバニラ mT5 よりも著しく優れているかどうかを調べるために、P = 0.05 でウィルコクソンの署名ランクテスト (Wilcoxon et al , 1970) を用いて重要なテストを実行する。 0.76
The null hypothesis is that the performance of PolyPrompt and its variants are indistinguishable from that of the vanilla mT5. ヌル仮説は、ポリプロンプトとその変異体の性能がバニラmT5と区別できないというものである。 0.76
The results are shown in the last column of Tab. 結果はタブの最後の列に表示されます。 0.84
2, where gray values indicate that the evaluated model failed the significance test (p > 0.05). 2) グレー値は評価したモデルが有意性試験に失敗したことを示す(p > 0.05)。 0.68
5.1.2 Results Tab. 5.1.2 結果表。 0.26
2 shows the main experimental results of models studied in this work on 7 multilingual datasets from 4 NLP tasks. 4つのNLPタスクから7つの多言語データセットについて,本研究で検討したモデルの実験結果を示す。 0.69
Fig 3 shows the performance improvements of PolyPrompt and its variants over 図3は、PolyPromptとその変種のパフォーマンス改善を示している。 0.77
英語(論文から抽出)日本語訳スコア
Question Answering TyDiQA 質問への回答 TyDiQA 0.51
MLQA XQuAD F1 MLQA XQuAD F1 0.43
EM F1 Metrics In-language training 72.93 57.22 81.44 70.78 62.93 44.61 Vanilla mT5 73.65 58.17 81.63 70.32 64.90 46.44 PolyPrompt 74.15 58.93 82.00 70.69 64.95 46.57 +Expand +Expand+XLSum 73.35 58.01 82.37 71.47 64.88 46.36 +Expand+PANX 73.73 58.43 82.75 71.70 65.02 46.60 EM F1 in-language training 72.93 57.22 81.44 70.78 62.93 44.61 vanilla mt5 73.65 58.17 81.63 70.32 64.90 46.44 polyprompt 74.15 58.93 82.00 70.69 64.95 46.57 +expand +expand+xlsum 73.35 58.01 82.37 71.47 64.88 46.36 +expand+panx 73.73 58.75 71.7065.02 4660 0.33
EM F1 EM Cross-lingual zero-shot transfer 62.49 44.51 64.67 47.46 57.16 38.92 Vanilla mT5 64.01 46.33 65.47 49.57 58.19 39.92 PolyPrompt 65.31 48.07 66.11 50.39 59.48 41.71 +Expand +Expand+XLSum 57.50 40.56 63.45 46.94 54.97 37.51 +Expand+PANX 64.67 47.51 65.08 48.38 59.40 41.41 EM F1 エム クロスリンガルゼロショットトランスファー 62.49 44.51 64.67 47.46 57.16 38.92 バニラ mt5 64.01 46.33 65.47 65.47 65.47 49.57 58.19 39.92 polyprompt 65.31 48.07 66.11 50.39 59.48 41.71 +expand +expand+xlsum 57.50 40.56 63.45 46.45 46.94 54.97 37.51 +expand+panx 64.67 47.51 65.08 59.40 41 0.43
Topic Sentiment MARC MLDOC PAWS-X XNLI Avg. テーマ 感度MARC MLDOC PAWS-XNLI Avg。 0.64
Acc. Sentence Pair Acc. acc。 文対 acc。 0.36
Acc. Acc. Sig. acc。 acc。 シグ 0.32
91.71 91.66 91.77 91.57 91.55 91.71 91.66 91.77 91.57 91.55 0.22
89.75 89.85 90.14 89.60 89.75 89.75 89.85 90.14 89.60 89.75 0.22
93.99 93.80 93.95 94.04 94.09 93.99 93.80 93.95 94.04 94.09 0.22
85.74 86.01 86.84 86.43 86.66 85.74 86.01 86.84 86.43 86.66 0.22
84.85 85.09 84.76 86.88 87.10 84.85 85.09 84.76 86.88 87.10 0.22
78.24 81.10 81.60 80.35 81.13 78.24 81.10 81.60 80.35 81.13 0.22
- 69.52 73.00 71.82 73.75 1.91E-03 72.28 74.00 1.54E-03 71.71 74.06 1.03E-04 72.12 74.31 1.03E-04 - 69.52 73.00 71.82 73.75 1.91E-03 72.28 74.00 1.54E-03 71.71 74.06 1.03E-04 72.12 74.31 1.03E-04 0.29
- 55.54 62.45 62.95 64.34 3.96E-05 64.57 65.42 3.96E-05 60.93 61.82 63.44 64.74 8.63E-05 - 55.54 62.45 62.95 64.34 3.96E-05 64.57 65.42 3.96E-05 60.93 61.82 63.44 64.74 8.63E-05 0.30
0.18 Table 2: Overall results of the models explored in this work on 7 multilingual datasets from 4 NLP tasks. 0.18 表2: 4つのNLPタスクから7つの多言語データセットを探索したモデル全体の結果。 0.54
Values in bold represent the best performance for a task in a particular setting (e g in-language training). boldの値は、特定の設定(例えば、言語内トレーニング)におけるタスクの最高のパフォーマンスを表します。 0.75
“Avg.” denotes the average performance of the 7 datasets, “Sig.” is the abbreviation for “significance test”, and “-” means not applicable. Avg.”は7つのデータセットの平均的なパフォーマンスを表し、”Sig.”は“重要なテスト”の略で、“-”は適用できないことを意味する。 0.77
Figure 3: The relative performance improvement of PolyPrompt and its variants over the vanilla mT5 (mT5) at the language-level. 図3: 言語レベルでのバニラmt5(mt5)に対するpolypromptとその派生品の相対的パフォーマンス改善。 0.74
“IE” denotes the “Indo-European”. 「IE」は「インド・ヨーロッパ」を意味する。 0.60
PolyP, PolyPE, PolyPEX, and PolyPEP are abbreviations for PolyPrompt, PolyPrompt+Expand, PolyPrompt+Expand+XLSum, and PolyPrompt+Expand+PANX. PolyP、PolyPE、PolyPEX、PolyPEPは、PolyPrompt、PolyPrompt+Expand、PolyPrompt+Expand+XLSum、PolyPrompt+Expand+PANXの略である。 0.69
vanilla mT5 at the language level. 言語レベルではvanilla mT5。 0.84
We detail the main findings from Tab. Tabの主な発見について詳述する。 0.66
2 and Fig 3: (1) Multilingual multi-task prompt training can bring improvement, which becomes more significant when high-resource datasets are introduced. 2) 図3: 1) マルチリンガルなマルチタスクプロンプトトレーニングは、高リソースデータセットの導入によって、改善をもたらす可能性がある。 0.73
Specifically, from Tab. 2, we can see that the average performance of PolyPrompt PolyPrompt+Expand) and its variants (e g is greatly improved on the 7 datasets of 4 tasks with both the in-language training and cross-lingual zero-shot transfer settings, ex- 特にTabから。 2では、PolyPrompt PolyPrompt+Expandの平均パフォーマンスと、その変種(egは、言語内トレーニングと言語間ゼロショット転送設定の両方で、4つのタスクの7つのデータセットで大幅に改善されている。 0.64
cept the PolyPrompt+Expand+XLSum with the transfer setting (p = cross-lingual zero-shot 0.18 > 0.05). 転送設定でPolyPrompt+Expand+XLSumを入力する(p = クロスランガルゼロショット0.18 > 0.05)。 0.68
For the in-language training scenario, the best system for most datasets is PolyPrompt+Expand+PANX (5 out of 7), and for the cross-lingual zero-shot transfer scenario, the best system for all the datasets is PolyPrompt+Expand. 言語内のトレーニングシナリオでは、ほとんどのデータセットに最適なシステムはPolyPrompt+Expand+PANX(7つ中5つ)で、言語間のゼロショット転送シナリオでは、すべてのデータセットに最適なシステムはPolyPrompt+Expandです。 0.69
This further illustrates the effectiveness of introducing the expanding highresource datasets. このことは、拡大する高リソースデータセットの導入の有効性をさらに示している。 0.53
(2) In the in-language training scenario, the im- 2)インランゲージトレーニングのシナリオでは、im- 0.73
PolyP-mT5PolyPE-mT5P olyPEX-mT5PolyPEP-mT 5IE: GermanicIE: RomanceIE: Indo-AryanIE: SlavicIE: GreekAfro-AsiaticAus tro-AsiaticKra-DaiSi no-TibetanTurkicUral icAustronesianKorean icNiger-CongoDravidi anJaponicXQuADIE: GermanicIE: RomanceIE: Indo-AryanIE: SlavicIE: GreekAfro-AsiaticAus tro-AsiaticKra-DaiSi no-TibetanTurkicUral icAustronesianKorean icNiger-CongoDravidi anJaponicTyDiQAMLQAM ARC MLDOC PAWS-X XNLI polyp-mt5polypex-mt5 polypex-mt5polypep-m t5ie: germanicie: romanceie: indo-aryanie: slavicie: greekafro-asiaticstr o-asiakra-daisino-ti betanturkicuralicaus tronesiankoreanicnig er-congodravidianjap onicxquadie: germanicie: romanceie: indo-aryanie: slavicie: greekafro-asiaticaus tro-asiatickra-daisi no-tibetanturkicural icaustronesiankorean icniger-congodravidi anjaponictydiqamarc mldocpaws-xlimarc mldoc 0.10
(a) In-language training (a)インランゲージトレーニング 0.66
(b) Cross-lingual zero-shot transfer (b)言語間ゼロショット転送 0.78
英語(論文から抽出)日本語訳スコア
provement of PolyPrompt mainly comes from the languages of non-Indo-European language families (e g Sino-Tibet). ポリプロンプトの証明は主に非インド・ヨーロッパ語族(例えばシノ・ティベット)の言語に由来する。 0.65
From Fig 3-(a), we can observe that no matter which dataset, languages belonging to non-Indo-European language families (e g Sino-Tibet and Niger-Congo) always have performance gains. 図3(a)から、どのデータセットであっても、非インド・ヨーロッパ語族に属する言語(例えば、Sino-Tibet や Niger-Congo)は、常にパフォーマンスが向上する。 0.63
However, in languages belonging to the Indo-European-relate d language families, the relative performance gains vary widely across datasets. しかし、インド・ヨーロッパ語族に属する言語では、相対的なパフォーマンスはデータセットによって大きく異なる。 0.63
For example, languages belonging to the XNLI and XQuAD datasets consistently achieve positive relative performance, while languages belonging to the PAWS-X and MLDOC datasets mainly achieve negative relative performance. 例えば、XNLI と XQuAD のデータセットに属する言語は、PAWS-X と MLDOC のデータセットに属する言語は、主に負の相対的なパフォーマンスを達成する。 0.80
This problem can be alleviated after introducing additional high-resource datasets (e g PolyPrompt+Expand). この問題は、追加の高リソースデータセット(polyprompt+expandなど)を導入することで緩和できる。 0.64
(3) Whether a language that appears on only one task could bring improvement depends on the difficulty of the task. 3)1つのタスクにのみ現れる言語が改善をもたらすかどうかは,タスクの難しさに依存する。 0.88
In Fig 3-(a), we can observe that some languages in XNLI-[ur,bg], TyDiQA-[bn,fi,id,te] and MLDOC-[it] are not present in other tasks (e g it is only present in MLDOC). 図3(a)では、XNLI-[ur,bg], TyDiQA-[bn,fi,id,te] および MLDOC-[it] のある言語が他のタスクには存在しないことが観察できる(例: MLDOC にのみ存在する)。 0.78
These languages that appear only once in multi-task training have significant performance gains on the XNLI task, while performance drops significantly on the TyDiQA and MLDOC tasks. マルチタスクトレーニングで一度だけ現れるこれらの言語は、XNLIタスクで大幅にパフォーマンスが向上する一方、TyDiQAとMLDOCタスクではパフォーマンスが大幅に低下する。 0.72
The reason could be that XNLI is a task that relies more on fundamental knowledge (Yin et al , 2019), which is relatively easier to acquire from other tasks. 理由は、xnliは基本的な知識(yin et al , 2019)に依存するタスクであり、他のタスクからは比較的簡単に取得できるからだ。 0.69
By contrast, task such as TyDiQA need to understand more, e g , the semantics of sentences and the position of the answer. 対照的に、TyDiQAのようなタスクは、例えば、文の意味論と答えの位置をもっと理解する必要がある。 0.68
(4) Compared with multilingual datasets, it is more beneficial for PolyPrompt to introduce external English datasets in the cross-language zero-shot transfer scenario. (4)多言語データセットと比較して,多言語間ゼロショット転送シナリオにおいて,外部英語データセットを導入する方がより有益である。 0.70
In Fig 3-(b), we observe that the PolyPrompt achieves performance gains in many languages belonging to different datasets in the cross-language zero-shot transfer scenarios. fig 3-(b)では、クロスランゲージのゼロショット転送シナリオにおいて、様々なデータセットに属する多くの言語で、ポリプロンプトの性能向上が達成されていることを観察する。 0.55
When the external English datasets (PolyPrompt+Expand) are introduced, more languages obtain performance improvements (fewer languages below the orange line). 外部英語データセット(polyprompt+expand)が導入されると、さらに多くの言語がパフォーマンスが向上する(オレンジ線以下のフェール言語)。 0.74
However, when multilingual datasets (e g PANX and XLSUM) are introduced (PolyPrompt+Expand+PANX and PolyPrompt+Expand+XLSUM), the overall performance drops (observed from Tab. 2) and there are more languages with negative relative performance gains (compared to PolyPrompt+Expand). しかし、多言語データセット(例えばPANXとXLSUM)が導入されると(PolyPrompt+Expand+PANXとPolyPrompt+Expand+XLSUM)、全体的なパフォーマンス低下(Tab.2から観測される)、相対的なパフォーマンスが負の言語が多い(PolyPrompt+Expandと比較して)。 0.76
5.2 Exp-II: Interpretable Multilingual 5.2 exp-ii: 解釈可能な多言語 0.47
Evaluation To answer the research question Q2 (Why does PolyPrompt work? What characteristics of the dataset and languages affect the improvement?), we extend the ExplainaBoard (Liu et al , 2021a; Fu et al , 2020; Ruder et al , 2021) to multilingual settings. 評価 Q2(なぜPolyPromptが機能するのか?データセットと言語の特徴は改善に影響するのか?)に答えるために、ExplainaBoard(Liu et al , 2021a; Fu et al , 2020; Ruder et al , 2021)を多言語設定に拡張します。 0.83
and BLUE_t1t2 = そして BLUE_t1t2 = 0.50
• MARC, MLDOC: • marc,mldoc: 0.30
aLen=φLen(Xa), aLen=φLen(Xa) 0.40
and tion to calculate the number of tokens in the given そして 与えられたトークンの数を計算するための割 0.78
5.2.1 Approach: Fine-grained Analysis For the interpretable evaluation, the first step is the 5.2.1アプローチ: 解釈可能な評価のためのきめ細かい分析、最初のステップは 0.79
score of two given texts x1 and x2. 与えられたテキストx1とx2のスコア。 0.65
The following are the features tailored for the 7 multilingual datasets in this paper: 本論文の7つの多言語データセットに適した特徴は以下のとおりである。 0.70
attribute definition. Assume that φLen(x) is a functext x, and φBLUE(x1, x2) is to compute the BLUE • XQuAD, TyDiQA, MLQA: cLen=φLen(Xc), qLen=φLen(Xq), BLUE_AC= φBLUE(Xa, Xc), where Xc, Xq, • PAWS-X, XNLI: t1Len = φLen(Xt1), t2Len = φLen(Xt2), t1Len/t2Len = φLen(Xt1)/φLen(Xt2), φBLUE(Xt1, Xt2), where Xt1 and Xt2 denote t1Len=φLen(Xt1), t1basic = φbasic(Xt1), and t1eNum = φeNum(Xt1), where Xt1 denotes a sequence of review (news for MLDOC). 属性定義。 φLen(x) が関手 x であり、φBLUE(x1, x2) が BLUE • XQuAD, TyDiQA, MLQA: cLen=φLen(Xc), qLen=φLen(Xq), BLUE_AC=φBLUE(Xa, Xc), ここで Xc, Xq, • PAWS-X, XNLI: t1Len = φLen(Xt1), t2Len = φLen(Xt2), t1Len/t2Len = φLen(Xt1)/φLen(Xt2), BLUE(Xt1, Xt1, Xt1, Xt1, Xt1, φLen = φLen(Xt1), Xt1, Xt1, Xt1, Xt1, Xt1, Xt1, Xt1, φLen = φLen(Xt1, Xt1, Xt1) であるとする。 0.77
φbasic(x) and φeNum(x) are functions to calculate the propor- φbasic(x) と φeNum(x) はプロジェクターを計算する関数である 0.75
and Xa denote the context, question, and answer sequence, respectively. xaは、それぞれ文脈、質問、回答のシーケンスを表す。 0.57
the premise and hypothesis (sentence-1 and sentence-2 for PAWS-X) sequence. 前提と仮説(PAWS-Xの文1と文2) 0.58
tion of words belonging to the 1000 essential English words 9 and entities, respectively. それぞれ、1000個の本質英語単語9とエンティティに属する単語の重み付け。 0.71
Then, we follow Fu et al (2020) and separate the samples into four buckets, XS (extra-small), S (small), L (large), and XL (extra-large), according to their feature values, and calculate the performance for each bucket. 次に、fu et al (2020) に従い、その特徴量に応じて xs (extra-small), s (small), l (large), xl (extra-large) の4つのバケットに分離し、各バケットのパフォーマンスを計算する。 0.68
Dataset-level features We can also get the dataset-level features. データセットレベルの機能 データセットレベルの機能も取得できます。 0.61
Given a dataset D and a feature p (e g qLen), the dataset-level feature can be defined as: データセットdと特徴p(例えばqlen)が与えられると、データセットレベルの特徴は次のように定義できる。 0.78
φp(D) = 1ࢯDteࢯ (cid:61) φp(d) = 1 である(cid:61)。 0.66
d∈Dte φp(d), dftpdte φp(d) である。 0.48
(4) 9https://simple.wiki pedia.org/wiki/ (4) 9https://simple.wiki pedia.org/wiki/ 0.30
Wikipedia:List_of_10 00_basic_words Wikipedia:List_of_10 00_basic_words 0.20
英語(論文から抽出)日本語訳スコア
PAWS-X M1:85.09 M2:84.85 PAWS-X M1:85.09 M2:84.85 0.29
XNLI M1:71.82 M2:69.52 XNLI M1:71.82 M2:69.52 0.28
PolyPrompt v.s. mT5 XQuAD M1:73.65 M2:72.93 PolyPrompt v.s. mT5 XQuAD M1:73.65 M2:72.93 0.22
MLQA M1:64.90 M2:62.93 MLQA M1:64.90 M2:62.93 0.17
TyDiQA M1:81.63 M2:81.44 ティディカ m1:81.63 m2:81.44 0.27
TyDiQA M1:82.00 M2:81.44 ティディカ m1:82.00 m2:81.44 0.27
TyDiQA M1:82.75 M2:81.44 ティディカ m1:82.75 m2:81.44 0.27
PPE v.s. mT5 PPE v.s. mT5 0.37
PPEP v.s. mT5 PPEP v.s. mT5 0.37
t1Len t1Len t1Len t1Len 0.29
cLen cLen cLen クレン クレン クレン 0.46
cLen cLen t2Len クレン クレン t2Len 0.40
t2Len qLen qLen t2Len クレン クレン 0.35
qLen qLen qLen クレン クレン クレン 0.38
t1Len/t2Len t1Len/t2Len 0.15
t1Len/t2Len t1Len/t2Len 0.15
aLen aLen aLen アレン アレン アレン 0.52
aLen aLen BLUE_t1t2 アレン アレン BLUE_t1t2 0.40
BLUE_t1t2 BLUE_AC BLUE_t1t2 BLUE_AC 0.23
BLUE_AC BLUE_AC BLUE_AC BLUE_AC 0.29
BLUE_AC BLUE_AC BLUE_AC BLUE_AC 0.29
Table 3: The pairwise model diagnosis of PolyPrompt (and its variants) and vanilla mT5 (mT5). 表3:ポリプロンプト(およびその変異体)とバニラmt5(mt5)のペアワイズモデル診断。 0.77
The model name on the left side of “v.s.” denotes M1, and the right side represents M2. v.s.”の左側のモデル名はM1を表し、右側はM2を表す。 0.83
The bar charts in the first row are the overall performance of M1 (green bars) and M2 (purple bar) across different languages. 最初の行のバーチャートは、異なる言語でM1(グリーンバー)とM2(パープルバー)の全体的なパフォーマンスである。 0.80
The bar charts after the second row represent the relative performance improvement of PolyPrompt and its variants over vanilla mT5, where the heights of the red and blue bars represent the maximum positive and maximum negative gains. 2行目以降のバーチャートは、ポリプロンプトとその変種をバニラmT5上で相対的に向上させ、赤と青のバーの高さは最大正と最大負のゲインを表す。 0.74
×, +, ○, and  denotes the “extra-small (XS)”,“small (S)”,“large (L)”, and “extra-large (XL)”, respectively. ×, +, −, ~ は、それぞれ「extra-small (xs)」、「small (s)」、「large (l)」、「extra-large (xl)」を表す。 0.75
PPE and PPEP denotes PolyPrompt+Expand and PolyPrompt+Expand+PANX, respectively. PPEとPPEPはそれぞれPolyPrompt+ExpandとPolyPrompt+Expand+PANXを示す。 0.66
PAWS-X XNLI PAWS-X XNLI 0.36
XQuAD TyDiQA XQuAD TyDiQA 0.42
MLQA t1Len MLQA t1Len 0.36
t2Len t1Len t2Len t1Len 0.29
t2Len cLen qLen t2Len クレン クレン 0.38
cLen qLen cLen クレン クレン クレン 0.43
qLen t1Len/t2Len BLUE_AC t1Len/t2Len BLUE_AC クレン t1Len/t2LenBLUE_AC t1Len/t2LenBLUE_AC 0.26
aLen BLUE_AC アレン BLUE_AC 0.41
aLen BLUE_AC アレン BLUE_AC 0.41
aLen BLUE_AC アレン BLUE_AC 0.41
Figure 4: Dataset bias characterized by φp defined in Eq 4 (the average of feature values over a specific language of the dataset). 図4: Eq 4で定義されたφp(データセットの特定の言語に対する特徴値の平均)によって特徴づけられるデータセットバイアス。 0.83
φp(⋅) is a function that computes the feature value φp(⋅) は特徴値を計算する関数である 0.79
where d is a sample of the test set Dte ∈ D, and ここで d はテストセット Dte ∈ D のサンプルであり、 0.74
for a given sample. あるサンプルについてです 0.66
For example, φqLen(MLQA) 例えば、φqLen(MLQA) 0.78
denotes the average question length of the MLQA. MLQAの平均質問長を表す。 0.60
endeesfrzhkoja808590 endeesfrhiurbgruelar vithzhtrsw657075ende eshiruelarvithzhtr70 7580endeeshiarvizh60 657075enbnruarfiidko swte758085enbnruarfi idkoswte758085enbnru arfiidkoswte758085en deesfrzhkoja42024end eesfrhiurbgruelarvit hzhtrsw0246endeeshir uelarvithzhtr2024end eeshiarvizh01234enbn ruarfiidkoswte505enb nruarfiidkoswte2.50. 02.55.07.5enbnruarfi idkoswte0510endeesfr zhkoja5.02.50.02.55. 0endeesfrhiurbgruela rvithzhtrsw0510endee shiruelarvithzhtr202 endeeshiarvizh0123en bnruarfiidkoswte1050 510enbnruarfiidkoswt e05enbnruarfiidkoswt e505endeesfrzhkoja42 024endeesfrhiurbgrue larvithzhtrsw024ende eshiruelarvithzhtr20 24endeeshiarvizh024e nbnruarfiidkoswte100 10enbnruarfiidkoswte 50510enbnruarfiidkos wte05endeesfrzhkoja4 2024endeesfrhiurbgru elarvithzhtrsw20246e ndeeshiruelarvithzht r505endeeshiarvizh02 46enbnruarfiidkoswte 100enbnruarfiidkoswt e505enbnruarfiidkosw te505endeesfrzhkoja6 1218endeesfrzhkoja61 218endeesfrhiurbgrue larvithzhtrsw81624en deesfrhiurbgruelarvi thzhtrsw4812endeeshi ruelarvithzhtr120240 360endeeshiruelarvit hzhtr102030enbnruarf iidkoswte120240360en bnruarfiidkoswte1020 30endeeshiarvizh7014 0210endeeshiarvizh51 015endeesfrzhkoja0.4 0.81.2endeesfrzhkoja 153045endeesfrhiurbg ruelarvithzhtrsw0.81 .62.4endeesfrhiurbgr uelarvithzhtrsw4812e ndeeshiruelarvithzht r51015endeeshiruelar vithzhtr0.00050.0010 .0015enbnruarfiidkos wte369enbnruarfiidko swte0.0030.0060.009e ndeeshiarvizh369ende eshiarvizh0.0010.002 0.003 endeesfrzhkoja808590 endeesfrhiurbgruelar vithzhtrsw657075ende eshiruelarvithzhtr70 7580endeeshiarvizh60 657075enbnruarfiidko swte758085enbnruarfi idkoswte758085enbnru arfiidkoswte758085en deesfrzhkoja42024end eesfrhiurbgruelarvit hzhtrsw0246endeeshir uelarvithzhtr2024end eeshiarvizh01234enbn ruarfiidkoswte505enb nruarfiidkoswte2.50. 02.55.07.5enbnruarfi idkoswte0510endeesfr zhkoja5.02.50.02.55. 0endeesfrhiurbgruela rvithzhtrsw0510endee shiruelarvithzhtr202 endeeshiarvizh0123en bnruarfiidkoswte1050 510enbnruarfiidkoswt e05enbnruarfiidkoswt e505endeesfrzhkoja42 024endeesfrhiurbgrue larvithzhtrsw024ende eshiruelarvithzhtr20 24endeeshiarvizh024e nbnruarfiidkoswte100 10enbnruarfiidkoswte 50510enbnruarfiidkos wte05endeesfrzhkoja4 2024endeesfrhiurbgru elarvithzhtrsw20246e ndeeshiruelarvithzht r505endeeshiarvizh02 46enbnruarfiidkoswte 100enbnruarfiidkoswt e505enbnruarfiidkosw te505endeesfrzhkoja6 1218endeesfrzhkoja61 218endeesfrhiurbgrue larvithzhtrsw81624en deesfrhiurbgruelarvi thzhtrsw4812endeeshi ruelarvithzhtr120240 360endeeshiruelarvit hzhtr102030enbnruarf iidkoswte120240360en bnruarfiidkoswte1020 30endeeshiarvizh7014 0210endeeshiarvizh51 015endeesfrzhkoja0.4 0.81.2endeesfrzhkoja 153045endeesfrhiurbg ruelarvithzhtrsw0.81 .62.4endeesfrhiurbgr uelarvithzhtrsw4812e ndeeshiruelarvithzht r51015endeeshiruelar vithzhtr0.00050.0010 .0015enbnruarfiidkos wte369enbnruarfiidko swte0.0030.0060.009e ndeeshiarvizh369ende eshiarvizh0.0010.002 0.003 0.01
英語(論文から抽出)日本語訳スコア
5.2.2 Results The results of the pairwise model comparison between PolyPrompt (and its variants) and vanilla mT5 are shown in Tab. 5.2.2の結果、ポリプロンプト(とその変異体)とバニラmt5のペアワイズモデルの比較結果がタブに表示される。 0.77
3, and the dataset bias characterized by φp is demonstrated in Fig 4. φpを特徴とするデータセットバイアスを図4に示す。 0.63
Detailed observations are listed as follows: (1) Dataset Perspective: the advantages of PolyPrompt in the co-occurring languages between PAWS-X and XNLI datasets are inconsistent due to the dataset bias. 1) データセットの観点: paws-xとxnliのデータセット間の共起言語におけるpolypromptの利点は、データセットのバイアスのために一貫性がない。 0.63
en, de, and fr are the co-occurring languages for PAWS-X and XNLI datasets from the sentence pair classification task. en, de, fr は文ペア分類タスクから PAWS-X と XNLI データセットの共起言語である。 0.77
In Tab. 3, we find that among these co-occurring languages, PolyPrompt is better at samples with short sentence2 (t2Len: XS) and sentence pairs with lower similarity scores (BLUE_t1t2: XS) in the PAWS-X dataset, while excels at samples with long sentence2 (t2Len: XL) and similar sentence content (BLUE_t1t2: XL) in the XNLI dataset. タブ内。 PAWS-Xデータセットの短文2(t2Len:XS)と低類似度スコア(BLUE_t1t2:XS)のサンプルではPolyPromptが優れており、XNLIデータセットの長文2(t2Len:XL)と類似文内容(BLUE_t1t2:XL)のサンプルでは排他的であることがわかった。 0.69
This inconsistency can be attributed to dataset bias. この矛盾はデータセットバイアスに起因する可能性がある。 0.57
From Fig 4, we can Fig 4からはできます。 0.78
observe the φt2Len(XNLI-[en,de,fr]) < 12 while φt2Len(PAWS-X-[en,de,fr]) > 20. φt2Len(XNLI-[en,de,fr]) < 12 であり、φt2Len(PAWS-X-[en,de,fr]) > 20 である。 0.85
φt2Len(PAWS-X-[en,de,fr]) on bucket t2Len: XS is close to the φt2Len(XNLI-[en,de,fr]) on バケットt2Len上のφt2Len(PAWS-X-[en,de,fr]): XS は φt2Len(XNLI-[en,de,fr]) に近い 0.91
Therefore, XL. Similarly, inconsistencies bucket t2Len: on feature BLUE_t1t2 can also be interpreted based on dataset characteristics. そのため XL。 同様に、不整合バケット t2Len: 機能 BLUE_t1t2 もデータセット特性に基づいて解釈できる。 0.75
(2) Model Perspective: PolyPrompt achieves overall performance improvements on the 7 participating datasets from 4 tasks, but it cannot perform well on all samples (e g , worse performance on long sentences). 2)モデルパースペクティブ:polypromptは4つのタスクから7つのデータセットで全体的なパフォーマンス改善を実現しているが、すべてのサンプルではうまく機能しない(例えば、長い文でパフォーマンスが悪くなる)。 0.74
We can observe the advantages and disadvantages of PolyPrompt from Tab. TabからPolyPromptのメリットとデメリットを観察することができます。 0.74
3. PolyPrompt is good at samples with the short context in most languages of MLQA (cLen: XS/S), samples with the long context in most languages of XQuAD (cLen: XL/L), samples with long sentence2 in most languages of XNLI (t2Len: XL/L), and samples with short sentence1 in zh,ko,ja of XS/S). 3. PolyPromptは、MLQA(cLen: XS/S)のほとんどの言語で短いコンテキストのサンプル、XQuAD(cLen: XL/L)のほとんどの言語で長いコンテキストのサンプル、XNLI(t2Len: XL/L)のほとんどの言語で長い文2のサンプル、XS/Sのzh,ko,jaで短い文1のサンプルが得意である。 0.62
DisPAWS-X (t1Len(zh,ko,ja): advantage analysis: PolyPrompt is worse at handling samples with long questions (qLen: XL/L) in most languages of XQuAD, TyDiQA, and MLQA, samples with long sentence1 on XNLI-es, and samples with long sentence1 and sentence2 in zh,ko,ja of PAWS-X. DisPAWS-X (t1Len(zh,ko,ja): 利点分析: PolyPromptは、XQuAD、TyDiQA、MLQAのほとんどの言語での長い質問(qLen:XL/L)、XNLI-esの長い文1と長い文1と長い文2のサンプル、PAWS-Xのzh,ko,jaを扱うのが苦手である。
訳抜け防止モード: DisPAWS - X ( t1Len(zh, ko, ja ) 利点分析 : PolyPrompt は XQuAD, TyDiQA, MLQA のほとんどの言語で長い質問 (qLen : XL / L ) のサンプルを扱うのが苦手である。 XNLI - es の長文1のサンプルと PAWS - X の zh , ko , ja の長文1と長文2のサンプル。
0.82
(3) Language Perspective: the behavior of different languages is inconsistent. (3) 言語視点: 異なる言語の振る舞いは一貫性がない。 0.79
(a) PolyPrompt is better at short sentences in languages belong- (a)PolyPromptは言語に属する短い文より優れている 0.89
ing to the IE: Germanic language family and the long sentences in languages belonging to the IE: Indo-Aryan language family. IEについて:ゲルマン語族とIEに属する言語における長い文:インド・アーリア語族。 0.67
(b) For languages that appear only once in a complex dataset, introducing more external data will effectively improve the performance of these languages. (b) 複雑なデータセットに一度だけ現れる言語の場合、外部データの導入は、これらの言語のパフォーマンスを効果的に改善する。 0.84
For example, the bn, fi, id, and te languages only appear in the TyDiQA dataset, when a large English corpus is introduced, the performance of the bn language has been dramatically improved, and the improvement mainly comes from those samples with long context and short answers. 例えば、bn、fi、id、te言語はTyDiQAデータセットにのみ表示され、大きな英語コーパスが導入されると、bn言語のパフォーマンスが劇的に改善され、改善は主に長い文脈と短い回答を持つサンプルから得られる。 0.67
However, the overall performance of the remaining three languages did not change. しかし、残りの3言語の全体的な性能は変化しなかった。 0.82
Still, the performance of some specific samples improved, for example, samples with a long context for id, a short context for fi, and a long answer for te. それでも、特定のサンプルのパフォーマンスは改善されており、例えば、idの長いコンテキスト、fiの短いコンテキスト、teの長い回答がある。
訳抜け防止モード: しかし、例えば、いくつかの特定のサンプルのパフォーマンスは改善された。 i d の長いコンテキストを持つサンプル、fi の短いコンテキスト、 そして 長い答えだ
0.70
Continuing to introduce multilingual corpus (PolyPrompt+Expand+PANX), the performance of fi and id has been dramatically improved. 多言語コーパス(PolyPrompt+Expand+PANX)を導入し続け、fiとidの性能は劇的に改善された。
訳抜け防止モード: 多言語コーパスの継続(PolyPrompt+Expand+PANX ) fiとidのパフォーマンスが劇的に改善した。
0.85
These improvements mainly come from the long answer for fi and the short answer for id. これらの改善は主にfiの長い答えとidの短い答えから来ている。 0.80
5.3 Exp-III: Effect of Prompt In this section, we try to find out what prompts or prompt combinations are suitable for multilingual and multi-task scenarios (Q3). 5.3 Exp-III: Effect of Prompt この節では、多言語およびマルチタスクシナリオ(Q3)に適したプロンプトやプロンプトの組み合わせを見つけようとする。 0.86
5.3.1 Prompt Design Although prompting methods have proven effective in many NLP scenarios, its effectiveness comes at the cost of prompt engineering (Liu et al , 2021b), as there are usually various factors that influence the prompt design process. 5.3.1 プロンプト設計 多くのnlpシナリオでプロンプト手法が有効であることが証明されているが、その効果はプロンプト設計プロセスに影響を与える様々な要因があるため、プロンプトエンジニアリング(liu et al, 2021b)のコストがかかる。 0.73
Existing works have studied the manual prompt (Schick and Schütze, 2021), soft (trainable) prompt (Lester et al , 2021), and mix prompt (mixing the manual and soft prompt) (Gu et al , 2021; Zhao and Schütze, 2021). 現存する作品では手動プロンプト(Schick and Schütze, 2021)、ソフト(訓練可能な)プロンプト(Lester et al , 2021)、ミックスプロンプト(Gu et al , 2021; Zhao and Schütze, 2021)が研究されている。
訳抜け防止モード: 現存する作品では手書きのプロンプトが研究されている(Schick and Schütze, 2021)。 柔らかい(訓練可能な)プロンプト(Lester et al, 2021 ) そして、プロンプトを混ぜる(手動とソフトプロンプトを混ぜる)(Gu et al, 2021 ; Zhao と Schütze)。 2021 ) .
0.83
The situation becomes more complicated in the multilingual situation, and in this paper, we care about the languages and uniformity of prompt templates design. この状況は多言語的状況においてさらに複雑になり、本稿では、プロンプトテンプレート設計の言語と統一性に注目します。 0.85
(1) Language Choice: for the language of prompt templates, we consider cross-lingual and in-lingual prompts, where examples of both are shown in Tab. 1) 言語選択: プロンプトテンプレートの言語については, 言語間および言語内プロンプトについて検討する。
訳抜け防止モード: (1 )言語選択 : プロンプトテンプレートの言語について ここでは、クロス-言語的およびイン-言語的プロンプトを検討します。
0.71
4. • In-lingual Prompt represents that the language of the prompt is consistent with the evaluated language (Zhao and Schütze, 2021). 4. • In-lingual Promptは、プロンプトの言語が評価された言語(Zhao and Schütze, 2021)と一致していることを示している。 0.59
With the help of Google Translator 10, we translate the 10https://translate. google.com/ Google Translator 10の助けを借りて、10https://translate. google.com/を翻訳する。 0.65
英語(論文から抽出)日本語訳スコア
Prompt Design Dataset プロンプトデザイン データセット 0.69
Prompt Template プロンプトテンプレート 0.75
Language Choice In-lingual (zh) 言語選択 in-lingual (複数形 in-linguals) 0.47
TyDiQA 根据段落的内容回答问题。 | 问题:[Q-zh] | 段落:[C-zh] 諸説あり)。 q-zh] | 0706:[c-zh] である。 0.40
Cross-lingual (zh) TyDiQA Answer the question based on the content of the paragraph. 言語横断(zh) TyDiQA 質問に対する回答は,段落の内容に基づいて行われる。 0.69
| [Q-zh] | Paragraph: [C-zh] | [q-zh] | paragraph: [c-zh] 0.41
Uniformity of Templates 一様性 ですから テンプレート 0.61
Unified Diversified XQuAD Answer the question based on the paragraph. 統一 多様化 XQuAD 段落に基づく質問に答える。 0.62
| Question: [Q-xx] | Paragraph: [C-xx] MLQA Answer the question based on the paragraph. | question: [q-xx] | paragraph: [c-xx] mlqaは、この段落に基づいて質問に答える。 0.68
| Question: [Q-xx] | Paragraph: [C-xx] XNLI MARC Answer the question based on the review. 質問: [Q-xx] | パラグラフ: [C-xx] XNLI MARC レビューに基づいて質問に答える。 0.85
Answer the question based on paragraph 1 and paragraph 2 . 第一項及び第二項に基づく質問に答える。 0.70
| Question : Do Paragraph 1 and Paragraph 2 mean the same thing ? 質問 : パラグラフ1とパラグラフ2は同じことを言っているか? 0.65
| ( A ) Yes . ( B ) (A)はい。 (B) 0.48
No . ( C ) Maybe . いいえ。 (C) おそらく。 0.61
| Paragraph 1 : [T1-xx] Paragraph 2 : [T2-xx] | Question: Can we conclude that the buyer is satisfied with the | パラグラフ1 : [T1-xx] パラグラフ2 : [T2-xx] | 質問: 買い手が満足していると結論できるか。 0.74
product based on his review? 彼のレビューに基づく製品? 0.87
|(A) Yes. (B) No. a)ははい。 (b)はい。 0.61
| Review: [T1-xx] レビュー:[t1-xx] 0.75
[C-xx] XQuAD I have always wondered: [Q-xx] | I searched Wikipedia and this is what I found. [C-xx] XQuAD: [Q-xx] | Wikipediaを検索してみたが、これを見つけた。
訳抜け防止モード: [C-xx] XQuAD I have always wondered [Q - xx ] | I searched Wikipedia これが私が見つけたものです。
0.64
What’s the answer? | MLQA Context: [C-xx] | I am trying to figure out the answer to the question from the above context. 答えは何か? MLQA Context: [C-xx] | 私は上記のコンテキストから質問に対する答えを見つけようとしています。 0.73
Can you tell XNLI MARC I am reading a review that says [T1-xx]. XNLI MARCに[T1-xx]というレビューを読んでいます。 0.76
Do you think the review is positive or negative? レビューは肯定的あるいは否定的だと思いますか? 0.73
me the answer? | Question: [Q-xx] Answer: Given that [T1-xx] Therefore, it must be true that [T2-xx]? 答えは? 質問: [Q-xx] 回答: [T1-xx] なので、[T2-xx] が真実である必要がありますか? 0.50
Yes, no, or maybe? はい、いいえ、いや、多分? 0.69
Table 4: Examples of prompt design in this work. 表4: この作業におけるプロンプトデザインの例。 0.92
“Q”, “C”, “T1”, and “T2” denotes the placeholders for question, context, sentence1, and sentence2 field, respectively. Q”,“C”,“T1”,“T2”はそれぞれ,質問,文脈,文1,文2フィールドのプレースホルダーを表す。 0.66
The format “[text field - language]” is used to represent text in a specific language, such as “[Q-zh]” denotes a question text in Chinese (zh). テキストフィールド - 言語]”という形式は、特定の言語のテキストを表すのに使用され、例えば“[q-zh]”は中国語の質問文(zh)を表す。 0.75
“xx” denotes any language, and “|” represents the separator of the input field (e g question and context). xx" は任意の言語を表し、"|" は入力フィールドの分離子を表します(例えば、質問とコンテキスト)。
訳抜け防止モード: xx ” は任意の言語を表し、” | ” は入力フィールドのセパレータを表す(例えば、質問)。 とコンテキスト)。
0.75
Tokens in pink are the co-occurring words in most templates. ピンクのトークンは、ほとんどのテンプレートで共起する単語です。 0.65
prompt into the evaluated language, and it is checked and corrected by humans. 評価された言語にプロンプトし、人間がチェックして修正します。 0.74
An example of in-lingual prompt for the Chinese (evaluated language) is given in Tab. 中国語(評価言語)の言語内プロンプトの例がタブで示される。 0.75
4. • Cross-lingual Prompt denotes that the language of the prompt is always kept in English (en) (Lin et al , 2021), regardless of the evaluated language (e g zh, es.). 4. • 言語横断プロンプトは、評価された言語(eg zh, es)に関係なく、プロンプトの言語が常に英語(en) (Lin et al , 2021) で保持されていることを示す。 0.65
Also, we give an example of cross-lingual prompt in Chinese (zh) in Tab. また、中国語(zh)のTabにおける言語間プロンプトの例を示す。 0.78
4. (2) Uniformity of Templates: The prevailing suggest that tasks that are similar or share similar underlying structures will benefit from multitask training (Caruana, 1997; Evgeniou and Pontil, 2004; Argyriou et al , 2008). 4. 2)テンプレートの均一性: 類似や類似した構造を共有するタスクはマルチタスクトレーニングの恩恵を受けることが示唆されている(Caruana, 1997; Evgeniou and Pontil, 2004; Argyriou et al , 2008)。 0.64
In this paper, we make some explorations on the similarity of tasks, trying to narrow the distance between different NLP tasks by designing a unified template. 本稿では,統一テンプレートを設計することで,異なるNLPタスク間の距離を狭めることで,タスクの類似性について検討する。 0.85
Here, we study unified prompts and diverse prompts. ここでは、統一的なプロンプトと多様なプロンプトについて研究する。 0.41
We give examples of them in Tab. その例をtabで示します。 0.59
4 respectively. • Unified Prompt indicates that prompts for different datasets/tasks have as similar structures and co-occurring words as possible. 4であった。 • 統一プロンプトは、異なるデータセット/タスクに対するプロンプトが、可能な限り同じ構造と共起語を持つことを示す。 0.58
Specifically, we customized a unified template for the seven datasets from four NLP tasks involved in multitask learning. 具体的には、マルチタスク学習に関わる4つのNLPタスクから7つのデータセットの統一テンプレートをカスタマイズした。 0.69
• Diversified Prompt indicates that prompts for different datasets/tasks are not guaranteed to have the same structure and multiple cooccurrence words. ※多様化プロンプト 異なるデータセット/タスクのプロンプトは、同じ構造と複数の共起語を持つことが保証されていない。 0.62
5.3.2 Settings Language Choice We subtract the performance of PolyPrompt equipping with the in-lingual 5.3.2 言語選択 言語内でのPolyPrompt実装の性能を下げる 0.83
prompt from PolyPrompt equipping with the crosslingual prompt to get the relative performance improvement between them, as shown in Fig 5- 図5に示すように、PolyPromptからのプロンプトとクロスリンガルプロンプトが相対的な性能改善を実現する 0.68
(a). Uniformity of Templates We designed 5 different prompts for each dataset, and then one prompt for each task was randomly selected to build a set of diversified prompts for multi-task prompt training. (a) テンプレートの均一性 各データセットに対して5つの異なるプロンプトを設計し、各タスクに対する1つのプロンプトをランダムに選択して、マルチタスクプロンプトトレーニングのための多様化したプロンプトセットを構築しました。 0.46
In total, we created 5 groups of diversified templates. 合計5種類のテンプレートを作成しました。 0.57
We subtract the performance of PolyPrompt equipping with a diversified prompt from PolyPrompt equipping with the unified prompt to get the relative performance improvement, as shown in Fig 5- 図5に示すように、ポリプロンプトの多角化プロンプトと統一プロンプトを具備した多角化プロンプトの性能を減じて相対的な性能向上を図る。 0.69
(b). We list all explored templates in Sec. (b) すべてのテンプレートをsecにリストアップします。 0.41
A. 5.3.3 Results (1) The cross-lingual (English) prompt would help tasks better retrieve the knowledge encoded in the multilingual pre-trained language model. A.3.3 Results (1) クロスランガル(英語)プロンプトは、多言語事前学習言語モデルに符号化された知識をよりよく検索するのに役立つ。 0.68
We can observe from Fig 5- 図5から観察できます 0.68
(a) that the average overall performance of the 5 models (vanilla mT5 and PolyPrompt based models) equipped with cross-lingual prompts outperforms in-lingual prompts, which holds for all the seven datasets. (a) 言語横断プロンプトを備えた5モデル(Vanilla mT5およびPolyPromptベースモデル)の平均的な全体的な性能は、言語内プロンプトよりも優れており、7つのデータセットすべてに当てはまる。 0.77
The reasons can be summarized as follows: (1) The English template does not bring additional translation noise; (2) mT5 is pre-trained on a larger body of English corpus, therefore understanding the English template. 1)英語のテンプレートは追加の翻訳ノイズをもたらしず、(2)mT5はより大きな英語のコーパスで事前訓練されているため、英語のテンプレートを理解することができる。 0.75
This makes it easier for downstream NLP tasks to retrieve knowledge from mT5, reducing the interaction cost of different languages for NLP tasks. これにより、下流のNLPタスクがmT5から知識を取得するのが容易になり、NLPタスクの異なる言語間のインタラクションコストが削減される。 0.64
(2) PolyPrompt with cross-lingual prompts (CL) has no advantage over the in-lingual prompts 2)言語間プロンプト(CL)を有するポリプロンプトは言語内プロンプトに対して優位ではない 0.71
英語(論文から抽出)日本語訳スコア
(a) Cross-lingual (CL) − In-lingual (IL) (a)クロスリンガル(cl)−インリンガル(il) 0.63
(b) PolyPrompt − PolyPrompt-v(x) (b)PolyPrompt −PolyPrompt-v(x) 0.47
Figure 5: The exploration of the language and uniformity of prompt design. 図5: 言語とプロンプトデザインの統一性の探求。 0.67
(a) is the performance gap between cross-lingual (CL) and in-lingual (IL) prompt templates, where PolyP, PolyPE, PolyPEX, and PolyPEP are abbreviations for PolyPrompt, PolyPrompt+Expand, PolyPrompt+Expand+XLSum, and PolyPrompt+Expand+PANX. a) クロスリンガル (cl) とインリンガル (il) プロンプトテンプレート(英語版)(polyp, polype, polypex, polypep) はpolyprompt, polyprompt+expand, polyprompt+expand+xlsum, polyprompt+expand+panxの略語である。 0.77
(b) is the relative performance improvement of PolyPrompt with unified prompt templates versus diversified prompt (b)統一型プロンプトテンプレートによるpolypromptの性能改善と多様化型プロンプト 0.75
templates (e g PolyP-v1). テンプレート (eg PolyP-v1)。 0.77
PolyP-v(x) (x ∈[1, 5]) represent x-th version of diversified prompt templates. polyp-v(x) (x ∈[1, 5]) は多様化したプロンプトテンプレートのx番目のバージョンを表す。 0.77
The bluer color indicates that the model with the cross-lingual (unified) prompts outperforms the in-lingual (diversified) prompts, while the redder color has the opposite meaning. その... 青色は、クロスランガル(統一)のモデルがインランガル(多様性)のプロンプトより優れており、赤みが逆の意味を持つことを示している。 0.41
The last column in the figure is the average relative improvement. 図の最後の列は平均的な相対的な改善です。 0.77
(a) CL-IL PolyPrompt (a)CL-ILポリプロンプト 0.63
(b) CL-IL PolyPrompt+Expand b)CL-ILポリプロンプト+拡張 0.55
(c) CL-IL PolyPrompt+Expand+XLSum (c)CL-IL PolyPrompt+Expand+XLSum 0.28
Figure 6: The relative performance improvement at the language level for PolyPrompt with cross-lingual prompts (CL) versus in-lingual prompts (IL). 図6: 多言語プロンプト(CL)と言語内プロンプト(IL)の言語レベルでの相対的なパフォーマンス改善。 0.73
Languages are sorted in descending order according to the sample size of the languages in the mT5 training set (high-resource to low-resource from left to right). 言語は、mT5トレーニングセット(左から右へ高リソースから低リソースへ)の言語のサンプルサイズに応じて、下位順にソートされる。 0.77
The bluer (redder) the color, the greater the improvement (decrease) of CL over IL. 青色(赤色)は、il上のclの改善(減色)が大きいほど大きい。 0.58
in low-resource languages. However, the benefits of CL increase when additional English or multilingual training datasets are introduced. 低リソース言語で。 しかし、追加の英語や多言語トレーニングデータセットを導入すると、CLの利点が増す。 0.72
Fig. 6 shows the relative performance improvement of PolyPrompt with cross-lingual prompts versus in-lingual prompts at the language level. 第6図は、言語レベルでの言語間プロンプトと言語間プロンプトによるポリプロンプトの相対的パフォーマンス改善を示す。 0.75
We can observe that PolyPrompt with cross-language prompts has no advantage in low-resource languages compared to in-lingual prompts; however, when the external English dataset is introduced (PolyPrompt+Expand), CL is more dominant in both low- and high-resource languages; With the introduction of multilingual datasets (PolyPrompt+Expand+XLSum), the relative advantages of cross-lingual prompts increase. 言語間プロンプトを持つPolyPromptは、言語内プロンプトと比較して低リソース言語では利点がないが、外部の英語データセットが導入されたとき(PolyPrompt+Expand)、CLは低リソース言語と高リソース言語の両方で支配的であり、多言語データセット(PolyPrompt+Expand+XLSum)の導入により、言語間プロンプトの相対的な優位性は増大する。 0.66
(3) The overall performance of PolyPrompt with the unified template is better than that of the diversified template, and different diversified templates significantly impact the QA task. 3) 統一テンプレートによるPolyPromptの全体的な性能は、多様化テンプレートよりも優れており、異なる多様化テンプレートがQAタスクに大きな影響を及ぼす。 0.83
In Fig 5-(b), we observed that the PolyPrompt with the unified template performed better than the fig 5-(b) では,統一テンプレートを用いたポリプロパントの方が優れた性能を示した。 0.71
PolyPrompt with any of the five diversified templates (e g PolyP-v1). 5つの異なるテンプレート(例えばPolyP-v1)のいずれかを持つPolyPrompt。 0.72
Compared with PolyPrompt with the unified prompt template, the performance of PolyPrompt with diverse prompt templates on the QA task degrades a lot. PolyPromptと統一的なプロンプトテンプレートを比較すると、QAタスクのさまざまなプロンプトテンプレートを備えたPolyPromptのパフォーマンスは大幅に低下する。 0.83
The reason can be that unified prompts help eliminate the boundaries between tasks, thereby reducing the distance between tasks and making the interaction between tasks easier. その理由は、統一的なプロンプトがタスク間のバウンダリを排除し、タスク間の距離を減らし、タスク間のインタラクションを容易にするためである。 0.65
5.4 Exp-IV: Cross-task Cross-lingual 5.4 Exp-IV:クロスタスク言語 0.56
zero-shot transfer To investigate whether the proposed methods can better retrieve relevant knowledge for unseen tasks and languages from pre-trained language models, we choose mT5, PolyPrompt, and PolyPrompt+Expand as investigated models and evaluate them on an unseen multilingual named entity recognition task PANX. ゼロショット転送 提案手法は,事前学習された言語モデルから未知のタスクや言語に関する関連知識を検索するために,mT5,PolyPrompt,Poly Prompt+Expandをモデルとして選択し,未知の多言語名のエンティティ認識タスクPANXで評価する。 0.74
Specifically, we subtract the performance of mT5 from the PolyPrompt and PolyPrompt+Expand in the same language, re- 具体的には、同じ言語で、polyPromptとPolyPrompt+ExpandからmT5のパフォーマンスを減じます。 0.82
xquadtydiqamlqamarcm ldocpawsxxnliavgmT5P olyPPolyPEPolyPEXPol yPEP0.230.19-0.010.2 30.712.41-0.570.350. 44-0.280.630.04-0.34 0.000.850.260.400.05 0.020.02-0.082.492.2 10.550.551.340.610.2 7-0.052.132.521.000. 350.740.63-0.260.020 .911.600.602024xquad tydiqamlqamarcmldocp awsxxnliavgPolyP-v1P olyP-v2PolyP-v3PolyP -v4PolyP-v50.24-0.60 6.870.04-0.110.770.8 51.303.81-0.386.47-0 .020.120.33-0.211.78 4.510.800.460.05-0.1 93.180.551.400.230.9 86.280.01-0.070.910. 461.510.461.296.390. 23-0.231.290.011.592 024xquadtydiqamlqama rcmldocpawsxxnlienru esdetrvizharelhithen ruidarfikobnteswenes devizharhienesdefrja zhenruesdefritjazhen esdefrjazhkoenruesde frtrvizharelbghithur sw02xquadtydiqamlqam arcmldocpawsxxnlienr uesdetrvizharelhithe nruidarfikobnteswene sdevizharhienesdefrj azhenruesdefritjazhe nesdefrjazhkoenruesd efrtrvizharelbghithu rsw02xquadtydiqamlqa marcmldocpawsxxnlien ruesdetrvizharelhith enruidarfikobnteswen esdevizharhienesdefr jazhenruesdefritjazh enesdefrjazhkoenrues defrtrvizharelbghith ursw02 xquadtydiqamlqamarcm ldocpawsxxnliavgmT5P olyPPolyPEPolyPEXPol yPEP0.230.19-0.010.2 30.712.41-0.570.350. 44-0.280.630.04-0.34 0.000.850.260.400.05 0.020.02-0.082.492.2 10.550.551.340.610.2 7-0.052.132.521.000. 350.740.63-0.260.020 .911.600.602024xquad tydiqamlqamarcmldocp awsxxnliavgPolyP-v1P olyP-v2PolyP-v3PolyP -v4PolyP-v50.24-0.60 6.870.04-0.110.770.8 51.303.81-0.386.47-0 .020.120.33-0.211.78 4.510.800.460.05-0.1 93.180.551.400.230.9 86.280.01-0.070.910. 461.510.461.296.390. 23-0.231.290.011.592 024xquadtydiqamlqama rcmldocpawsxxnlienru esdetrvizharelhithen ruidarfikobnteswenes devizharhienesdefrja zhenruesdefritjazhen esdefrjazhkoenruesde frtrvizharelbghithur sw02xquadtydiqamlqam arcmldocpawsxxnlienr uesdetrvizharelhithe nruidarfikobnteswene sdevizharhienesdefrj azhenruesdefritjazhe nesdefrjazhkoenruesd efrtrvizharelbghithu rsw02xquadtydiqamlqa marcmldocpawsxxnlien ruesdetrvizharelhith enruidarfikobnteswen esdevizharhienesdefr jazhenruesdefritjazh enesdefrjazhkoenrues defrtrvizharelbghith ursw02 0.00
英語(論文から抽出)日本語訳スコア
Figure 7: The performance improvement of PolyPrompt (PP) and PolyPrompt+Expand (PPE) relative to vanilla mT5 in the cross-task & cross-lingual zero-shot setting, where the blue and orange lines in the line chart represent the performance of PolyPrompt+Expand and PolyPrompt, respectively. 図7:ポリプロパント(pp)とポリプロパント+expand(ppe)の性能改善 クロスタスクおよびクロスリンガルゼロショット設定では、ラインチャートの青線とオレンジ線はそれぞれポリプロパント+expandとポリプロパントのパフォーマンスを表す。
訳抜け防止モード: 図7 : クロスタスクにおけるバニラmt5との比較によるpolyprompt(pp)およびpolyprompt+expand(ppe)の性能改善 and cross - lingual zero - ショット設定。 ラインチャートの青線とオレンジ線はそれぞれpolyprompt+expandとpolypromptのパフォーマンスを表している。
0.74
The bar chart is the proportion (%) of different languages in the training corpus participating in mT5 pre-training, where tl is a language that never participated in mT5 pre-training. バーチャートは、mT5事前トレーニングに参加するトレーニングコーパス内の異なる言語の比率(%)であり、tlはmT5事前トレーニングに参加していない言語である。 0.74
spectively. The results are shown in the line chart in Fig 7. 素晴しい。 結果は図7のラインチャートに示されています。 0.60
The bar chart is the proportion of samples in different languages that participated in mT5 pre-training. バーチャートはmT5事前トレーニングに参加した様々な言語のサンプルの割合である。 0.76
Results: (1) Almost all languages benefit from PolyPrompt, and more languages will benefit when PolyPrompt is enhanced with extra English training datasets. 結果: (1) ほぼすべての言語がPolyPromptの恩恵を受けており、PolyPromptが追加の英語トレーニングデータセットで拡張されると、より多くの言語が恩恵を受けます。 0.64
We can observe from the line chart in Fig 7 that PolyPrompt brings benefits to 34 of the 40 languages, while 38 languages when the extra English training datasets (PolyPrompt+Expand) are enhanced to PolyPrompt. 図7の行チャートから、PolyPromptは40言語中34言語にメリットをもたらし、追加の英語トレーニングデータセット(PolyPrompt+Expand)がPolyPromptに拡張された場合、38言語が提供されます。 0.80
What’s more, the PolyPrompt+Expand performs much better than PolyPrompt on languages belonging to the IE: Germanic and IE: Romance language families, which make up a large proportion of samples in the pretraining corpus of mT5 (we can observe this from the bar chart in Fig 7). さらに、polyprompt+expandは、ie:ゲルマン語とie:ロマンス語ファミリーに属する言語において、polypromptよりもずっと優れた性能を発揮する。
訳抜け防止モード: さらに、polyprompt+expandは、ie:ゲルマン語、ie:ロマンス語族に属する言語において、polypromptよりもずっと優れた性能を発揮する。 mt5の事前訓練されたコーパスのサンプルの かなりの割合を占めています (図7のバーチャートから観察できる)。
0.73
(2) PolyPrompt significantly improves performance on languages that have never appeared in the pre-training corpus of mT5. 2) PolyPromptはmT5の事前学習コーパスに存在しない言語の性能を大幅に向上させる。 0.79
Both PolyPrompt and PolyPrompt+Expand have obtained much performance gains over mT5 on the tl, which is a language that never appeared in the pre-trained corpus of mT5. PolyPromptとPolyPrompt+Expandはどちらも、事前訓練されたmT5コーパスには現れない言語であるtlのmT5よりも多くのパフォーマンス向上を実現している。 0.67
Furthermore, PolyPrompt+Expand achieves the best relative performance gain on tl among all 40 evaluated languages. さらに、PolyPrompt+Expandは、評価された40言語中、tlで最高の相対的なパフォーマンス向上を達成する。 0.54
The potential reasons are: (1) we unify different tasks into a sequence-to-sequence framework (including NER), which effectively shortens the distance between different tasks; (2) English (en) and tl share the same semantic space, NER knowledge in English (en) can be effectively transferred to tl; based on this, when more En- 潜在的な理由は、(1)異なるタスクをシーケンス・ツー・シーケンス・フレームワーク(nerを含む)に統合し、異なるタスク間の距離を効果的に短縮する。(2)英語(en)とtlは同じ意味空間を共有しているため、英語(en)におけるner知識をtlに効果的に転送することができる。 0.72
glish corpora (belonging to QA, text classification tasks, etc.) are introduced, the NER task in tl language benefits more from it. glish corpora(qa、テキスト分類タスクなど)が導入されたことにより、tl言語のnerタスクはそのメリットをさらに高めます。 0.61
5.5 Dissussion tasks from different 5.5 使い捨て 異なるタスクから 0.62
Here, we summarize the main observations from our experiments and try to provide preliminary answers. 本稿では,実験から得られた主観を要約し,予備的回答の提示を試みる。 0.70
(1) Could different languages benefit from each other by a monolithic framework? 1) 異なる言語はモノリシックなフレームワークによって互いに恩恵を受けますか? 0.72
Yes. What’s more, introducing more high-resource datasets can further improve the performance of tasks involved in multi-task prompt training. はい。 さらに、より高リソースなデータセットを導入することで、マルチタスクプロンプトトレーニングに関わるタスクのパフォーマンスがさらに向上する。 0.78
(2) Why does PolyPrompt work? (2) PolyPromptはなぜ機能するのか? 0.81
What characteristics of the dataset and languages affect the performance improvement? パフォーマンス改善に影響を与えるデータセットと言語の特徴は何ですか? 0.80
The performance improvement of PolyPrompt mainly comes from the languages of non-Indo-European language families (e g Sino-Tibet. PolyPromptの性能改善は主に非インド・ヨーロッパ語族(例えばSino-Tibet)の言語によるものである。 0.70
Due to the dataset’s bias, the samples that lead to improvement for PolyPrompt are inconsistent for each task. データセットのバイアスのため、PolyPromptの改善につながるサンプルは、各タスクに一貫性がない。 0.69
For example, for PAWSX, the performance gain mainly comes from the samples with shorter lengths and similar sentence pair content in zh, ko, and ja. 例えば、PAWSXの場合、パフォーマンスの向上は主にzh、ko、jaの短い長さと類似した文対の内容を持つサンプルから得られる。 0.79
(3) What makes a good prompt for multilingual multi-task prompt training? 3)多言語マルチタスクプロンプトトレーニングによいプロンプトは何か? 0.71
The best performance is achieved when the model is equipped with cross-lingual prompts (i.e., using English as prompt templates regardless of what the language of training samples is) and prompts with unified templates across tasks. モデルが言語横断プロンプト(つまり、トレーニングサンプルの言語に関係なく英語をプロンプトテンプレートとして使用する)を備えて、タスク間で統一されたテンプレートをプロンプトした場合、最高のパフォーマンスを達成します。 0.77
IE: GermanicIE: RomanceIE: Indo-AryanIE: SlavicIE: GreekAfro-AsiaticAus tro-AsiaticKra-DaiSi no-TibetanTurkicUral icAustronesianKorean icNiger-CongoDravidi anJaponicIE: IranianBasqueKartvel ian IE: GermanicIE: RomanceIE: Indo-AryanIE: SlavicIE: GreekAfro-AsiaticAus tro-AsiaticKra-DaiSi no-TibetanTurkicUral icAustronesianKorean icNiger-CongoDravidi anJaponicIE: IranBasqueKartvelian 0.18
英語(論文から抽出)日本語訳スコア
Acknowledgements We thank Graham Neubig and Junjie Hu for their useful discussion and suggestions on this work. 覚書 graham neubig氏とjunjie hu氏のこの作業に関する有用な議論と提案に感謝します。 0.56
This work was supported by the National Research Foundation of Singapore under its Industry Alignment Fund – Pre-positioning (IAF-PP) Funding Initiative. この研究は、シンガポールの産業調整基金、IAF-PPファンド・イニシアティブによって支援された。 0.55
Any opinions, findings, conclusions, or recommendations expressed in this material are those of the authors and do not reflect the views of the National Research Foundation of Singapore. この資料で示される意見、発見、結論、あるいは勧告は著者のものであり、シンガポール国立研究財団の見解を反映していない。
訳抜け防止モード: この資料で示される意見、所見、結論または推奨事項は、著者のものである。 シンガポール国立研究財団の見解を 反映しないでください
0.66
References Andreas Argyriou, Theodoros Evgeniou, and Massimiliano Pontil. 参照:Andreas Argyriou、Theodoros Evgeniou、Massimiliano Pontil。 0.66
2008. Convex multi-task feature learning. 2008. Convex Multi-task機能学習。 0.60
Machine learning, 73(3):243–272. 機械学習、73(3):243–272。 0.78
Mikel Artetxe, Sebastian Ruder, and Dani Yogatama. Mikel Artetxe、Sebastian Ruder、Dani Yogatama。 0.65
2020. On the cross-lingual transferability of monolingual representations. 2020. 単言語表現の言語間伝達性について 0.48
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 4623–4637. 第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 4623–4637。 0.68
Association for Computational Linguistics. Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 計算言語学会会員。 dzmitry bahdanau、kyunghyun cho、yoshua bengio。 0.52
2015. Neural machine translation by jointly In 3rd Interlearning to align and translate. 2015. 調整と翻訳のための第3インターラーニングによるニューラルマシン翻訳 0.57
national Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings. national conference on learning representations, iclr 2015, san diego, ca, usa, may 7-9, 2015 conference track proceedings (英語)
訳抜け防止モード: ICLR 2015, San Diego, CA, USA, International Conference on Learning Representations に参加して 2015年5月7日~9日, Conference Track Proceedings。
0.81
Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. サミュエル・R・ボウマン、ガボル・アンジェリ、クリストファー・ポッツ、クリストファー・D・マニング。 0.36
2015. A large annotated corpus for learning natural language inferIn Proceedings of the 2015 Conference on ence. 2015. 2015年のenceカンファレンスのInferIn Proceedingsを学習するための大きな注釈付きコーパス。 0.52
Empirical Methods in Natural Language Processing, EMNLP 2015, Lisbon, Portugal, September 17-21, 2015, pages 632–642. 自然言語処理における経験的手法 (emnlp 2015, lisbon, portugal, september 17-21, 2015 pages 632-642)。 0.72
The Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)の略。 0.49
Rich Caruana. 1997. 豊かなカルーアナ 1997. 0.42
Multitask learning. Machine マルチタスク学習。 機械 0.74
learning, 28(1):41–75. 背番号28(1):41-75。 0.48
Tsong Yueh Chen, Fei-Ching Kuo, and Robert Merkel. Tsong Yueh Chen、Fei-Ching Kuo、Robert Merkel。 0.41
2004. On the statistical properties of the f-measure. 2004. f-測度の統計的性質について 0.60
In Fourth International Conference onQuality Software, 2004. 2004年、第4回Quality Software国際会議。 0.83
QSIC 2004. 2004年qsicデビュー。 0.51
Proceedings. , pages 146– 153. 手続きだ 146~153頁。 0.53
IEEE. Zewen Chi, Li Dong, Shuming Ma, Shaohan Huang, Saksham Singhal, Xian-Ling Mao, Heyan Huang, Xia Song, and Furu Wei. IEEE。 Zewen Chi, Li Dong, Shuming Ma, Shaohan Huang, Saksham Singhal, Xian-Ling Mao, Heyan Huang, Xia Song, Furu Wei
訳抜け防止モード: IEEE。 ゼウェンチ、リ・ドン、シュミンマ、シャオハン・フン、 saksham singhal, xian - ling mao, heyan huang, xia song(英語) そして、cou wei。
0.50
2021. mt6: Multilingual pretrained text-to-text transformer with translation In Proceedings of the 2021 Conference on pairs. 2021. mt6: 翻訳を伴う多言語で事前訓練されたテキスト・テキスト・トランスフォーマー 2021年のペアに関する会議の成果。 0.50
Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021, pages 1671– 1683. Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021, page 1671– 1683
訳抜け防止モード: 自然言語処理における実証手法EMNLP 2021, Virtual Event/Punta Cana ドミニカ共和国、2021年11月11日、1671年 - 1683年。
0.80
Association for Computational Linguistics. Jonathan H. Clark, Jennimaria Palomaki, Vitaly Nikolaev, Eunsol Choi, Dan Garrette, Michael Collins, and Tom Kwiatkowski. 計算言語学会会員。 ジョナサン・h・クラーク、jennimaria palomaki、vitaly nikolaev、eunsol choi、dan garrette、michael collins、tom kwiatkowski。
訳抜け防止モード: 計算言語学会会員。 Jonathan H. Clark, Jennimaria Palomaki, Vitaly Nikolaev, Eunsol Choi ダン・ギャレット(Dan Garrette)、マイケル・コリンズ(Michael Collins)、トム・クウィアトコフスキー(Tom Kwiatkowski)。
0.59
2020. Tydi QA: A benchmark for information-seeking question answering in typologically diverse languages. 2020. Tydi QA: 類型的多様言語における情報探索質問応答のベンチマーク。 0.59
Trans. Assoc. トランス。 Assoc 0.46
Comput. Linguistics, 8:454–470. Comput 言語学 8:454-470。 0.34
Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, Veselin Stoyanov
訳抜け防止モード: alexis conneau, kartikay khandelwal, naman goyal, vishrav chaudhary. guillaume wenzek, francisco guzmán, edouard grave, myle ott, ルーク・ゼトルモイヤー(luke zettlemoyer)とヴェセリン・ストヤノフ(veslin stoyanov)。
0.65
2020. Unsupervised cross-lingual representation learning at scale. 2020. 教師なし言語間表現学習の大規模化 0.45
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 8440–8451. 第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 8440–8451。 0.69
Association for Computational Linguistics. Alexis Conneau and Guillaume Lample. 計算言語学会会員。 アレクシス・コネウと ギヨーム・ランプ 0.49
2019. CrossIn Advances lingual language model pretraining. 2019. CrossIn Advances 言語モデルの事前トレーニング。 0.62
in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, pages 7057–7067. in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, page 7057–7067。
訳抜け防止モード: ニューラル情報処理システム32 : ニューラル情報処理システム2019年大会 NeurIPS 2019, 12月8日~14日, バンクーバー。 BC、カナダ、7057-7067頁。
0.71
Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel R. Bowman, Holger Schwenk, and Veselin Stoyanov. Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel R. Bowman, Holger Schwenk, Veselin Stoyanov。
訳抜け防止モード: Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams サミュエル・R・ボウマン、ホルガー・シュヴェンク、ヴェゼリン・ストヤノフ。
0.66
2018. XNLI: evaluating cross-lingual sentence representations. 2018. xnli: 言語間表現の評価。 0.54
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pages 2475–2485. 2018年10月31日-11月4日、ベルギーのブリュッセル自然言語処理における経験的手法に関する会議の議事録2475-2485頁。 0.73
Association for Computational Linguistics. Pradeep Dasigi, Nelson F. Liu, Ana Marasovic, Noah A. Smith, and Matt Gardner. 計算言語学会会員。 Pradeep Dasigi、Nelson F. Liu、Ana Marasovic、Noah A. Smith、Matt Gardner。 0.65
2019. Quoref: A reading comprehension dataset with questions reIn Proceedings of quiring coreferential reasoning. 2019. Quoref: 質問のある読み取り理解データセット reIn Proceedings ofquiring coreferential reasoning。 0.57
the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 5924–5931. 2019年自然言語処理における経験的手法に関する会議と第9回自然言語処理国際共同会議,emnlp-ijcnlp 2019,香港,中国,2019年11月3日から7日,ページ5924-5931。
訳抜け防止モード: 自然言語処理における実証的手法に関する2019年会議と第9回国際自然言語処理会議 EMNLP - IJCNLP 2019, Hong Kong, China, November 3 - 7, 2019 5924-5931頁。
0.85
Association for Computational Linguistics. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 計算言語学会会員。 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova 0.45
2019. BERT: pre-training of deep bidirectional transformers for language underIn Proceedings of the 2019 Conference standing. 2019. bert: 2019年のカンファレンススタンディングでは、言語のための深い双方向トランスフォーマーを事前トレーニングしています。 0.50
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pages 4171–4186. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), page 4171–4186.
訳抜け防止モード: 計算言語学会北米支部の紹介 : 人間言語技術 naacl - hlt 2019, minneapolis, mn, usa, june 2 - 7, 2019 (英語) 第1巻(長編・短編)、4171-4186頁。
0.71
Association for Computational Linguistics. Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang. 計算言語学会会員。 ダシャン・ドン、ワ・ウー、ウェイ・ヘ、ジアンハイ・ユ、ハイフェン・ワン。 0.49
2015. Multi-task learning for mulIn Proceedings of the tiple language translation. 2015. ティプル言語翻訳におけるmlin処理のためのマルチタスク学習 0.58
53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1723–1732, Beijing, China. 53th annual meeting of the association for computational linguistics and the 7th international joint conference on natural language processing ( volume 1: long papers, pages 1723–1732, beijing, china (英語)
訳抜け防止モード: 第53回計算言語学会年次大会と第7回自然言語処理国際会議(巻1編長編) 1723-1732頁、北京、中国。
0.60
Association for Computational Linguistics. 計算言語学会会員。 0.52
英語(論文から抽出)日本語訳スコア
Theodoros Evgeniou and Massimiliano Pontil. Theodoros EvgeniouとMassimiliano Pontil。 0.38
2004. Regularized multi–task learning. 2004. 正規化されたマルチタスク学習。 0.45
In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Seattle, Washington, USA, August 22-25, 2004, pages 109– 117. The Tenceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Seattle, Washington, USA, August 22-25, 2004, page 109–117。
訳抜け防止モード: 第10回知識発見・データマイニング国際会議(ACM SIGKDD)に参加して ワシントン州シアトル、2004年8月22日-25日 109頁、117頁。
0.77
ACM. Jinlan Fu, Pengfei Liu, and Graham Neubig. acm。 Jinlan Fu、Pengfei Liu、Graham Neubig。 0.63
2020. Interpretable multi-dataset evaluation for named enIn Proceedings of the 2020 Contity recognition. 2020. 2020 Contity Recognition における enIn Proceedings の解釈可能なマルチデータセット評価 0.62
ference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, pages 6058–6069. Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020, page 6058–6069。
訳抜け防止モード: 自然言語処理における経験的手法に関する考察 : EMNLP 2020 オンライン、2020年11月16日-20日、6058-6069頁。
0.62
Association for Computational Linguistics. Yuxian Gu, Xu Han, Zhiyuan Liu, and Minlie Huang. 計算言語学会会員。 Yuxian Gu、Xu Han、Zhiyuan Liu、Minlie Huang。 0.43
2021. PPT: pre-trained prompt tuning for few-shot learning. 2021. ppt: 事前学習されたプロンプトチューニング。 0.50
CoRR, abs/2109.04332. corr, abs/2109.04332。 0.45
Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam, Kazi Samin, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, and Rifat Shahriyar. Tahmid Hasan, Abhik Bhattacharjee, Md Saiful Islam, Kazi Samin, Yuan-Fang Li, Yong-Bin Kang, M. Sohel Rahman, Rifat Shahriyar 0.44
2021. Xl-sum: Large-scale multilingual abstractive summarization for 44 languages. 2021. Xl-sum:44言語に対する大規模多言語抽象要約。 0.54
CoRR, abs/2106.13822. CoRR, abs/2106.13822。 0.61
Junjie Hu, Hiroaki Hayashi, Kyunghyun Cho, and Graham Neubig. ジュンジエ・フ、林弘明、チョウヒョン・チョー、グラハム・ノイビック。 0.39
2021. Deep: Denoising entity pre-training for neural machine translation. 2021. deep: ニューラルマシン翻訳のためのエンティティ事前トレーニング。 0.57
arXiv preprint arXiv:2111.07393. arXiv preprint arXiv:2111.07393。 0.63
Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, Melvin Johnson 0.35
2020. XTREME: A massively multilingual multitask benchmark for evaluating cross-lingual generalisation. 2020. XTREME: 言語間一般化を評価するための多言語マルチタスクベンチマーク。 0.55
In Proceedings of the 37th International Conference on Machine Learning, volume 119 of Proceedings of Machine Learning Research, pages 4411–4421. 第37回In Proceedings of the 37th International Conference on Machine Learning, Volume 119 of Proceedings of Machine Learning Research, page 4411–4421。
訳抜け防止モード: 第37回機械学習国際会議報告, 第119巻 機械学習研究の成果 4411-4421頁。
0.63
PMLR. Karthikeyan K, Zihan Wang, Stephen Mayhew, and Dan Roth. PMLR。 Karthikeyan K、Zihan Wang、Stephen Mayhew、Dan Roth。 0.37
2020. Cross-lingual ability of multiIn 8th Interlingual BERT: an empirical study. 2020. MultiIn 8th Interlingual BERTの言語間能力に関する実証的研究 0.60
national Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020. iclr 2020, アディスアベバ, エチオピア, 2020年4月26~30日 0.44
OpenReview.net. OpenReview.net 0.41
Phillip Keung, Yichao Lu, György Szarvas, and Noah A Smith. Phillip Keung、Yichao Lu、György Szarvas、Noah A Smith。 0.67
2020. The multilingual amazon reviews corpus. 2020. 多言語アマゾンレビューコーパス。 0.54
arXiv preprint arXiv:2010.02573. arXiv preprint arXiv:2010.02573 0.36
Ankit Kumar, Ozan Irsoy, Peter Ondruska, Mohit Iyyer, James Bradbury, Ishaan Gulrajani, Victor Zhong, Romain Paulus, and Richard Socher. Ankit Kumar, Ozan Irsoy, Peter Ondruska, Mohit Iyyer, James Bradbury, Ishaan Gulrajani, Victor Zhong, Romain Paulus, Richard Socher
訳抜け防止モード: ankit kumar, ozan irsoy, peter ondruska, mohit iyyer, james bradbury, ishaan gulrajani, victor zhong, romain paulus そしてリチャード・ソッチャー
0.63
2016. Ask me anything: Dynamic memory networks for natural language processing. 2016. 自然言語処理のための動的メモリネットワーク。 0.46
In International conference on machine learning, pages 1378–1387. 機械学習に関する国際会議、1378-1387頁。 0.80
PMLR. Brian Lester, Rami Al-Rfou, and Noah Constant. PMLR。 ブライアン・レスター、ラミ・アル=ルフー、ノア・コンスタン。 0.40
2021. The power of scale for parameter-efficient prompt tuning. 2021. パラメータ効率の良いプロンプトチューニングのためのスケールのパワー。 0.58
In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, EMNLP 2021, Virtual Event / Punta Cana, Dominican Republic, 7-11 November, 2021, pages 3045– 3059. 自然言語処理における経験的手法に関する2021年の会議で、emnlp 2021, virtual event / punta cana, dominican republic, 7-11 november, 2021, pages 3045–3059。 0.88
Association for Computational Linguistics. Patrick S. H. Lewis, Barlas Oguz, Ruty Rinott, Sebastian Riedel, and Holger Schwenk. 計算言語学会会員。 Patrick S. H. Lewis, Barlas Oguz, Ruty Rinott, Sebastian Riedel, Holger Schwenk 0.46
2020. MLQA: evaluating cross-lingual extractive question answering. 2020. MLQA: 言語横断的抽出質問応答の評価。 0.58
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 7315–7330. 第58回計算言語学会年次総会において、acl 2020, online, july 5-10, 2020, pages 7315–7330。 0.67
Association for Computational Linguistics. Kevin Lin, Oyvind Tafjord, Peter Clark, and Matt Gardner. 計算言語学会会員。 ケビン・リン、オイビン・タフィヨルド、ピーター・クラーク、マット・ガードナー。 0.54
2019. Reasoning over paragraph effects In Proceedings of the 2nd Workin situations. 2019. 第2次労働状況の手続における段落効果の推論 0.59
shop on Machine Reading for Question Answering, MRQA@EMNLP 2019, Hong Kong, China, November 4, 2019, pages 58–62. shop on machine reading for question answering, mrqa@emnlp 2019, hong kong, china, november 4, 2019年11月4日, 58-62頁。 0.39
Association for Computational Linguistics. Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, and Xian Li. 計算言語学会会員。 Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona T. Diab, Veselin Stoyanov, Xian Li
訳抜け防止モード: 計算言語学会会員。 xivictoria lin, todor mihaylov, mikel artetxe, tianlu wang。 シュホイ・チェン、ダニエル・シミッヒ、ミレ・オット、ナマン・ゴヤル、シュルティ・ボサール jingfei du, ramakanth pasunuru, sam shleifer, punit singh koura, vishrav chaudhary氏、brian o’horo氏、jeff wang氏、luke zettlemoyer氏。 zornitsa kozareva, mona t. diab, veselin stoyanov, xian li。
0.56
2021. learnCoRR, ing with multilingual abs/2112.10668. 2021. learnCoRR, ing with multilingual abs/2112.10668 0.41
language models. Few-shot Ying Lin, Shengqi Yang, Veselin Stoyanov, and Heng Ji. 言語モデル。 一部 Ying Lin, Shengqi Yang, Veselin Stoyanov, and Heng Ji 0.48
2018. A multi-lingual multi-task architecture for low-resource sequence labeling. 2018. 低リソースシーケンスラベリングのための多言語マルチタスクアーキテクチャ 0.58
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 799–809, Melbourne, Australia. 第56回計算言語学会年次大会(第1巻:長い論文)では、オーストラリアのメルボルンで799-809頁が開催された。 0.66
Association for Computational Linguistics. Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan, Shuaichen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye, and Graham Neubig. 計算言語学会会員。 Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan, Shuaichen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye, Graham Neubig
訳抜け防止モード: 計算言語学会会員。 Pengfei Liu, Jinlan Fu, Yang Xiao, Weizhe Yuan 周愛chen Chang, Junqi Dai, Yixin Liu, Zihuiwen Ye そしてグラハム・ニュービッグ。
0.67
2021a. EXPLAINABOARD: an explainable leaderboard for NLP. 2021年。 EXPLAINABOARD: NLP用の説明可能なリーダーボード。 0.77
CoRR, abs/2104.06387. corr、abs/2104.06387。 0.41
Pengfei Liu, Xipeng Qiu, and Xuanjing Huang. Pengfei Liu、Xipeng Qiu、Xuanjing Huang。 0.34
2016. Recurrent neural network for text classification with In Proceedings of the Twentymulti-task learning. 2016. 20個のマルチタスク学習を経たテキスト分類のための再帰的ニューラルネットワーク 0.61
Fifth International Joint Conference on Artificial Intelligence, pages 2873–2879. 第5回人工知能国際共同会議、2873-2879頁。 0.65
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig 0.34
2021b. Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing. 2021年。 pretrain, prompt, and predict:自然言語処理におけるプロンプト手法の体系的な調査。 0.79
CoRR, abs/2107.13586. corr、abs/2107.13586。 0.41
Qianchu Liu, Diana McCarthy, Ivan Vulic, and Anna Korhonen. Qianchu Liu、Diana McCarthy、Ivan Vulic、Anna Korhonen。 0.33
2019. Investigating cross-lingual alignment methods for contextualized embeddings with token-level evaluation. 2019. トークンレベル評価による文脈的埋め込みのための言語間アライメント手法の検討 0.53
In Proceedings of the 23rd Conference on Computational Natural Language Learning, CoNLL 2019, Hong Kong, China, November 3-4, 2019, pages 33–43. 第23回計算自然言語学習会議conll 2019, hong kong, china, november 3-4, 2019, pages 33–43で開催。 0.77
Association for Computational Linguistics. Xiaodong Liu, Jianfeng Gao, Xiaodong He, Li Deng, Kevin Duh, and Ye-yi Wang. 計算言語学会会員。 Xiaodong Liu, Jianfeng Gao, Xiaodong He, Li Deng, Kevin Duh, Ye-yy Wang 0.46
2015. Representation learning using multi-task deep neural networks for semantic classification and information retrieval. 2015. 意味分類と情報検索のためのマルチタスクディープニューラルネットワークを用いた表現学習 0.63
In 0.43
英語(論文から抽出)日本語訳スコア
Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 912–921, Denver, Colorado. 2015年の北米計算言語学会の会議の成果: Human Language Technologies, page 912–921, Denver, Colorado (コロラド州)。 0.73
Association for Computational Linguistics. Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke Zettlemoyer. 計算言語学会会員。 Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, Luke Zettlemoyer
訳抜け防止モード: 計算言語学会会員。 銀ハン・リウ、ジアタオ・グ、ナマン・ゴヤル、シアン・リ、 セルゲイ・エドゥノフ、マージャン・ガズヴィネジャド、マイク・ルイス、ルーク・ゼトルモイヤー。
0.48
2020. Multilingual denoising pre-training for neural machine translation. 2020. ニューラルマシン翻訳のためのマルチリンガルdenoising pre-training 0.54
Trans. Assoc. トランス。 Assoc 0.46
Comput. Linguistics, 8:726–742. Comput 言語学 8:726–742。 0.39
Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts. Andrew L. Maas、Raymond E. Daly、Peter T. Pham、Dan Huang、Andrew Y. Ng、Christopher Potts。 0.86
2011. Learning word vectors for sentiment analysis. 2011. 感情分析のための単語ベクトルの学習 0.60
In The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA, pages 142–150. The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA, page 142-150
訳抜け防止モード: 第49回計算言語学会年次大会 : 人間言語技術 2011年6月19日~24日開催。 ポートランド、オレゴン州、アメリカ合衆国、142-150頁。
0.60
The Association for Computer Linguistics. 専門はコンピュータ言語学。 0.45
Rabeeh Karimi Mahabadi, Sebastian Ruder, Mostafa Dehghani, and James Henderson. Rabeeh Karimi Mahabadi, Sebastian Ruder, Mostafa Dehghani, James Henderson 0.33
2021. Parameterefficient multi-task fine-tuning for transformarXiv preprint ers via shared hypernetworks. 2021. 共有ハイパーネットワークによるtransformarxivプリプリントersのパラメータ効率の高いマルチタスク微調整 0.52
arXiv:2106.04489. arXiv:2106.04489。 0.48
Chaitanya Malaviya, Graham Neubig, and Patrick Littell. Chaitanya Malaviya、Graham Neubig、Patrick Littell。 0.31
2017. Learning language representations for typology prediction. 2017. タイポロジー予測のための言語表現の学習 0.57
In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, September 9-11, 2017, pages 2529–2535. 自然言語処理における経験的手法に関する2017年会議(emnlp 2017、コペンハーゲン、デンマーク、9月9-11日、2017年9月9日-11日)の議事録2529-2535頁。
訳抜け防止モード: 自然言語処理における経験的手法に関する2017年会議のまとめ EMNLP 2017 コペンハーゲン、デンマーク、9月9日-11日。 2529-2535頁。
0.81
Association for Computational Linguistics. Xiaoman Pan, Boliang Zhang, Jonathan May, Joel Nothman, Kevin Knight, and Heng Ji. 計算言語学会会員。 Xiaoman Pan, Boliang Zhang, Jonathan May, Joel Nothman, Kevin Knight, and Heng Ji 0.45
2017. Crosslingual name tagging and linking for 282 languages. 2017. 282言語のための言語間タギングとリンク。 0.59
In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 1: Long Papers, pages 1946–1958. 第55回計算言語学会年次大会(ACL 2017, ACL 2017, バンクーバー, カナダ, 7月30日-8月4日)に参加して
訳抜け防止モード: 第55回計算言語学会年次大会を終えて acl 2017 バンクーバー,カナダ, 7月30日-8月4日 第1巻:長編、1946-1958頁。
0.57
Association for Computational Linguistics. Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. 計算言語学会会員。 コリン・ラフェル、ノーム・シャザー、アダム・ロバーツ、キャサリン・リー、シャラン・ナラン、マイケル・マテナ、ヤンチー・周、ウェイ・リー、ピーター・j・リュー。
訳抜け防止モード: 計算言語学会会員。 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ピーター・J・リュー(Peter J. Liu)。
0.72
2020. Exploring the limits of transfer learning with a unified text-to-text transformer. 2020. 統一テキスト-テキストトランスフォーマによるトランスファー学習の限界の検討 0.62
J. Mach. Learn. Res., 21:140:1–140:67. j・マッハ 学ぶ。 背番号21:140:1–140:67。 0.50
Afshin Rahimi, Yuan Li, and Trevor Cohn. Afshin Rahimi、Yuan Li、Trevor Cohn。 0.30
2019. In ProMassively multilingual transfer for NER. 2019. nerの多言語移植です 0.42
ceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pages 151–164. The 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28-8月2日, Volume 1: Long Papers, page 151–164.
訳抜け防止モード: 計算言語学会第57回大会の開催 ACL 2019, イタリアのフィレンツェ, 2019年7月28日-8月2日 第1巻 長文、第151-164頁。
0.62
Association for Computational Linguistics. Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. 計算言語学会会員。 Pranav Rajpurkar、Jian Zhang、Konstantin Lopyrev、Percy Liang。 0.42
2016. Squad: 100, 000+ questions for machine comprehension of text. 2016. Squad: 機械によるテキスト理解のための100,000以上の質問。 0.56
In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pages 2383–2392. 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016 Austin, Texas, USA, November 1-4, 2016”. 2383–2392. 2016年11月1日閲覧。 0.84
The Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)の略。 0.49
Matthew Richardson, Christopher J. C. Burges, and Erin Renshaw. マシュー・リチャードソン、クリストファー・J・C・バージェス、エリン・レンショー。 0.46
2013. Mctest: A challenge dataset for the open-domain machine comprehension of text. 2013. mctest: テキストのオープンドメインマシン理解のためのチャレンジデータセット。 0.62
In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, EMNLP 2013, 18-21 October 2013, Grand Hyatt Seattle, Seattle, Washington, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 193–203. 2013年の自然言語処理における経験的手法に関する会議では、2013年10月18日から21日にかけて、ワシントン州シアトルのグランドハイアット・シアトルで、aclの特別関心グループであるsigdatの会合、193–203頁が開催された。
訳抜け防止モード: 自然言語処理における経験的手法に関する2013年会議のまとめ 2013年10月18日 - 2013年10月21日、アメリカ合衆国ワシントン州シアトルのグランドハイアットシアトル。 ACL特別研究会「SIGDAT」開催報告 193-203頁。
0.71
ACL. Sebastian Ruder, Noah Constant, Jan Botha, Aditya Siddhant, Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu, Dan Garrette, Graham Neubig, et al 2021. ACL。 Sebastian Ruder, Noah Constant, Jan Botha, Aditya Siddhant, Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu, Dan Garrette, Graham Neubig, et al 2021
訳抜け防止モード: ACL。 セバスティアン・ルーダー、ノア・コンスタント、ヤン・ボサ、アディティア・シッダーント Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu Dan Garrette, Graham Neubig, et al 2021
0.54
Xtreme-r: Towards more challenging and arXiv preprint nuanced multilingual evaluation. Xtreme-r: より困難で、arXiv プレプリントニュアンス付き多言語評価を目指して。 0.51
arXiv:2104.07412. arXiv:2104.07412。 0.49
Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M. Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal V. Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Févry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush. Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M. Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal V. Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Févry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, and Alexander M. Rush.
訳抜け防止モード: ヴィクター・サン、アルバート・ウェブソン、コリン・ラフフェル、スティーブン・h・バッハ lintang sutawika, zaid alyafeai, antoine chaffin, arnaud stiegler, teven le scao arun raja, manan dey, m. saiful bari, canwen xu, urmish thakker, shanya sharma, eliza szczechla, taewoon kim, gunjan chhablani, nihal v. nayak, debajyoti datta, jonathan chang, mike tian - jian jiang, ハン・ワン マッテオ・マニカ シェン・シェン・シン・ヨン 過酷なパンディー レイチェル・バウデン トーマス・ワン トリシャラ・ネラジ ジョス・ローゼン abheesht sharma, andrea santilli, thibault févry, jason alan fries, ryan teehan。 ステラ・ビダーマン レオ・ガオ タリ・バーズ トーマス・ウルフ アレキサンダー・m・ラッシュ
0.61
2021. Multitask prompted training enables zero-shot task generalization. 2021. マルチタスク起動トレーニングは、ゼロショットタスクの一般化を可能にする。 0.44
CoRR, abs/2110.08207. コラー、abs/2110.08207。 0.39
Maarten Sap, Hannah Rashkin, Derek Chen, Ronan LeBras, and Yejin Choi. マールテン・サップ、ハンナ・ラシュキン、デレク・チェン、ロナン・レブラス、エジン・チョイ。 0.35
2019. Socialiqa: Commonsense reasoning about social interactions. 2019. Socialiqa: 社会的相互作用に関する常識的推論。 0.58
CoRR, abs/1904.09728. corr、abs/1904.09728。 0.40
Timo Schick and Hinrich Schütze. ティモ・シックとヒンリッヒ・シュッツェ 0.39
2021. Exploiting cloze-questions for few-shot text classification and In Proceedings of the natural language inference. 2021. 数発のテキスト分類のためのクローゼクエストと自然言語推論の証明 0.53
16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, EACL 2021, Online, April 19 - 23, 2021, pages 255–269. 16th conference of the european chapter of the association for computational linguistics: main volume, eacl 2021, online, april 19 - 23 2021, pages 255–269.com (英語)
訳抜け防止モード: 第16回計算言語学会欧州支部大会 : 主巻 eacl 2021, online, april 19–23, 2021 255-269頁。
0.57
Association for Computational Linguistics. Holger Schwenk and Xian Li. 計算言語学会会員。 Holger SchwenkとXian Li。 0.45
2018. A corpus for multilingual document classification in eight languages. 2018. 8言語における多言語文書分類のためのコーパス 0.59
In Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018. 第11回言語資源・評価国際会議「LREC 2018, Miyazaki, Japan, May 7-12, 2018」開催報告 0.71
European Language Resources Association (ELRA). 欧州言語資源協会 (ELRA) の略。 0.77
Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Richard Socher、Alex Perelygin、Jean Wu、Jason Chuang、Christopher D. Manning、Andrew Y. Ng、Christopher Potts。 0.80
2013. Recursive deep models for semantic compositionality over a sentiment In Proceedings of the 2013 Conference treebank. 2013. 感情による意味的構成性に関する再帰的な深層モデル 2013年のツリーバンク会議の成果 0.58
on Empirical Methods in Natural Language Processing, EMNLP 2013, 18-21 October 2013, Grand Hyatt Seattle, Seattle, Washington, USA, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 1631–1642. 自然言語処理における経験的手法について、emnlp 2013, 18-21 october 2013, grand hyatt seattle, seattle, washington, usa,a meeting of sigdat, a special interest group of the acl, pages 1631–1642。
訳抜け防止モード: 自然言語処理における経験的手法について : 2013年10月18日から21日にかけてのEMNLP ワシントン州シアトルのグランドハイアットシアトル, SIGDAT会議 ACLの特別関心グループ 1631–1642頁。
0.71
ACL. ACL。 0.41
英語(論文から抽出)日本語訳スコア
Anders Søgaard and Yoav Goldberg. Anders SøgaardとYoav Goldberg。 0.40
2016. Deep multitask learning with low level tasks supervised at lower In Proceedings of the 54th Annual Meetlayers. 2016. 第54回年次ミートレイヤーの下位段階における低レベルタスクによる深層マルチタスク学習 0.59
ing of the Association for Computational Linguistics (Volume 2: Short Papers), pages 231–235, Berlin, Germany. ing of the association for computational linguistics (巻2: short papers) 231-235ページ、ベルリン、ドイツ。 0.74
Association for Computational Linguistics. Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 計算言語学会会員。 Ilya Sutskever, Oriol Vinyals, Quoc V. Le 0.43
2014. Sequence to sequence learning with neural networks. 2014. ニューラルネットワークを用いたシーケンスからシーケンスへの学習。 0.55
In Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, December 8-13 2014, Montreal, Quebec, Canada, pages 3104–3112. In Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014 December 8-13 2014 モントリオール、ケベック、カナダの3104-3112ページ。 0.81
Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, and Newsqa: A machine Kaheer Suleman. Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman, Newsqa: A Machine Kaheer Suleman
訳抜け防止モード: アダム・トリシュラー、トン・ワン、シンディ・アン、ジャスティン・ハリス alessandro sordoni, philip bachman, and newsqa : a machine kaheer suleman
0.65
2017. In Proceedings of the comprehension dataset. 2017. 理解データセットの手続きにおいて。 0.53
2nd Workshop on Representation Learning for NLP, Rep4NLP@ACL 2017, Vancouver, Canada, August 3, 2017, pages 191–200. 第2回nlp表現学習ワークショップ、rep4nlp@acl 2017、バンクーバー、カナダ、2017年8月3日、191-200ページ。
訳抜け防止モード: 2nd Workshop on Representation Learning for NLP, Rep4NLP@ACL 2017, Canada, Vancouver 2017年8月3日、191-200頁。
0.88
Association for Computational Linguistics. Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R. Bowman. 計算言語学会会員。 アレックス・ワン、アマンプレット・シン、ジュリアン・マイケル、フェリックス・ヒル、オマー・レヴィ、サミュエル・r・ボウマン。 0.46
2019a. GLUE: A multi-task benchmark and analysis platIn 7th form for natural language understanding. 2019年。 GLUE: マルチタスクのベンチマークと分析 自然言語理解のための7番目の形式。 0.72
International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019 0.43
OpenReview.net. OpenReview.net 0.41
Yiren Wang, ChengXiang Zhai, and Hany Hassan. Yiren Wang、ChengXiang Zhai、Hany Hassan。 0.63
2020. Multi-task learning for multilingual neural In Proceedings of the 2020 machine translation. 2020. マルチタスク学習による多言語ニューラルIn Proceedings of the 2020 machine translation 0.60
Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1022–1034, Online. 英語) Empirical Methods in Natural Language Processing (EMNLP), page 1022–1034, Online. 0.80
Association for Computational Linguistics. Yuxuan Wang, Wanxiang Che, Jiang Guo, Yijia Liu, and Ting Liu. 計算言語学会会員。 Yuxuan Wang, Wanxiang Che, Jiang Guo, Yijia Liu, Ting Liu 0.42
2019b. Cross-lingual BERT transformation for zero-shot dependency parsing. 2019年。 ゼロショット依存解析のための言語間BERT変換 0.59
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 5720– 5726. 第9回自然言語処理国際共同会議(emnlp-ijcnlp 2019, hong kong, china, november 3-7, 2019, pages 5720– 5726)は、2019年の自然言語処理における経験的手法に関する会議である。 0.81
Association for Computational Linguistics. Frank Wilcoxon, SK Katti, and Roberta A Wilcox. 計算言語学会会員。 フランク・ウィルコクソン、SKカッティ、ロバータ・A・ウィルコクソン。 0.52
1970. Critical values and probability levels for the wilcoxon rank sum test and the wilcoxon signed rank test. 1970. ilcoxon rank sum test と wilcoxon signed rank test の臨界値と確率レベル。 0.54
Selected tables in mathematical statistics, 1:171–259. 数学統計学における選択表 1:171-259。 0.57
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander M. Rush
訳抜け防止モード: トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 clement delangue, anthony moi, pierric cistac, tim rault, rémi louf, モーガン・ファントウィッツ ジョー・デイヴィソン サム・シュライファー パトリック・フォン・プラトン clara ma, yacine jernite, julien plu, canwen xu, teven le scao, sylvain gugger, mariama drame, quentin lhoestなど。 アレキサンダー・m・ラッシュ
0.58
2020. Transformers: State-of-the-art natural language processing. 2020. Transformers: 最先端の自然言語処理。 0.61
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: 自然言語処理における実証的手法に関する2020年会議のまとめ 0.81
System Demonstrations, EMNLP 2020 - Demos, Online, November 16-20, 2020, pages 38–45. System Demonstrations, EMNLP 2020 - Demos, Online, November 16-20, 2020, page 38-45 0.47
Association for Computational Linguistics. Yang Xiao, 計算言語学会会員。 ヤン・シャオ 0.53
Jinlan Fu, Weizhe Yuan, Vijay Viswanathan, Zhoumianze Liu, Yixin Liu, Graham Neubig, and Pengfei Liu. Jinlan Fu, Weizhe Yuan, Vijay Viswanathan, Zhoumianze Liu, Yixin Liu, Graham Neubig, Pengfei Liu 0.35
2022. Datalab: A platform for data analysis and intervention. 2022. Datalab: データ分析と介入のためのプラットフォーム。 0.63
arXiv preprint arXiv:2202.12875. arXiv preprint arXiv:2202.12875 0.36
Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and Colin Raffel. Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel
訳抜け防止モード: linting xue, noah constant, adam roberts, mihir kale, rami al - rfou, aditya siddhant, aditya barua そしてコリン・ラフェル
0.68
2021. mt5: A massively multilingual pre-trained text-to-text transformer. 2021. mt5: 多言語で事前訓練されたテキストからテキストへの変換。 0.44
In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pages 483–498. 2021年6月6-11日、2021年6月1日、北米計算言語学会 (the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, page 483–498) の開催。 0.68
Association for Computational Linguistics. Yinfei Yang, Yuan Zhang, Chris Tar, and Jason PAWS-X: A cross-lingual adBaldridge. 計算言語学会会員。 Yinfei Yang氏、Yuan Zhang氏、Chris Tar氏、Jason PAWS-X氏。 0.56
2019. versarial dataset for paraphrase identification. 2019. paraphrase識別のための汎用データセット。 0.54
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019, pages 3685– 3690. 第9回自然言語処理国際共同会議(emnlp-ijcnlp 2019, hong kong, china, november 3-7, 2019, pages 3685–3690)は、2019年の自然言語処理における経験的手法に関する会議である。 0.81
Association for Computational Linguistics. Zhilin Yang, Ruslan Salakhutdinov, and William searXiv preprint 計算言語学会会員。 zhilin yang、ruslan salakhutdinov、william searxivプレプリント 0.55
Cohen. 2016. コーエン 2016. 0.35
quence tagging from scratch. スクラッチからのクエンスタグ。 0.26
arXiv:1603.06270. arXiv:1603.06270。 0.49
Multi-task cross-lingual zero-shot マルチタスク言語 ゼロショット 0.63
Wenpeng Yin, Jamaal Hay, and Dan Roth. Wenpeng Yin、Jamaal Hay、Dan Roth。 0.35
2019. classification: Benchmarking Datasets, evaluation and entailment approach. 2019. 分類: データセットのベンチマーク、評価、補足アプローチ。 0.56
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3914–3923, Hong Kong, China. 第9回国際自然言語処理会議(EMNLP-IJCNLP)と第9回国際自然言語処理会議(EMNLP-IJCNLP)は、香港の3914-3923ページで開催されている。 0.77
Association for Computational Linguistics. text 計算言語学会会員。 テキスト 0.64
Xiang Zhang, Junbo Jake Zhao, and Yann LeCun. チャン・チャン、ジュンボ・ジェイク・ジャオ、ヤン・レクン。 0.36
2015. Character-level convolutional networks for text classification. 2015. テキスト分類のための文字レベル畳み込みネットワーク 0.61
In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015, December 712, 2015, Montreal, Quebec, Canada, pages 649– 657. In Advances in Neural Information Processing Systems 28: Annual Conference on Neural Information Processing Systems 2015年12月712日, 2015年モントリオール, ケベック, カナダ, 649-657頁。 0.85
Jinming Zhao, Ruichen Li, Qin Jin, Xinchao Wang, and Haizhou Li. ジンミンジャオ、ルイチェン・リー、シン・ジン、シンチャオ・ワン、ハイシュ・リー。 0.48
2021. Memobert: Pre-training model with prompt-based learning for multimodal emotion recognition. 2021. Memobert: マルチモーダル感情認識のためのプロンプトベース学習による事前学習モデル。 0.57
CoRR, abs/2111.00865. コラー、abs/2111.00865。 0.37
Mengjie Zhao and Hinrich Schütze. Mengjie ZhaoとHinrich Schütze。 0.38
2021. Discrete and soft prompting for multilingual models. 2021. 多言語モデルのための離散的およびソフトプロンプト 0.58
CoRR, abs/2109.03630. corr, abs/2109.03630。 0.48
英語(論文から抽出)日本語訳スコア
A Prompt Template Tab. Promptテンプレートタブ。 0.59
5 presents the cross-lingual (English) prompt templates explored in this work. この作業では、クロスランガル(英語)プロンプトテンプレートが紹介されている。 0.57
We designed 5 templates for each of the 7 tasks. 7つのタスクごとに5つのテンプレートを設計しました。 0.65
英語(論文から抽出)日本語訳スコア
Task XQuAD TyDiQA 課題 XQuAD TyDiQA 0.46
MLQA XNLI PAWS-X MLQA XNLI PAWS-X 0.38
MARC MLDOC Prompt Template マーク MLDOC プロンプトテンプレート 0.57
(1) Answer the question based on the paragraph. 1) 第一項に基づく質問に答える。 0.61
| Question: [Q] | Paragraph: [C] (2) Answer the question based on the information contained in the paragraph. | 質問: [q] | 段落: [c] (2) 段落に含まれる情報に基づいて質問に答える。 0.71
| Question: [Q] | Paragraph: [C] (3) [C] | With reference to the above context, [Q] (4) I have always wondered: [Q] | I searched Wikipedia and this is what I found. q] | paragraph: [c] (3) [c] | 上述の文脈を参照すると、[q] (4) 私はいつも不思議に思っていました: [q] | 私はwikipediaを検索しました。
訳抜け防止モード: | Question : [ Q ] | Paragraph : [ C ] ( 3 ) [ C ] | 上記の文脈を参照。 [Q ] (4 ) 私はいつも不思議に思っていた : [Q ] | ウィキペディアを検索した これが私が見つけたものです。
0.89
What’s the answer? | [C] (5) Context: [C] | I am trying to figure out the answer to the question from the above context. 答えは何か? c] (5) コンテキスト: [c] | 私は上記のコンテキストから質問に対する答えを見つけようとしています。 0.65
Can you tell me the answer? 答えを教えてくれませんか。 0.74
| Question: [Q] Answer: (1) Answer the question based on the paragraph. |質問: [Q]回答:(1)段落に基づく質問に対する回答。 0.72
| Question: [Q] | Paragraph: [C] (2) Answer the question based on the information contained in the paragraph. | 質問: [q] | 段落: [c] (2) 段落に含まれる情報に基づいて質問に答える。 0.71
| Question: [Q] | Paragraph: [C] (3) I have always wondered: [Q] | I searched Wikipedia and this is what I found. 質問: [q] | paragraph: [c] (3) 私はいつも不思議に思っていました: [q] | 私はwikipediaを検索しました。 0.85
What’s the answer? | [C] (4) [C] | With reference to the above context, [Q] (5) Context: [C] | I am trying to figure out the answer to the question from the above context. 答えは何か? | [C] (4) [C] | 上記のコンテキストを参照して、 [Q] (5) コンテキスト: [C] | 上記のコンテキストから質問に対する答えを見つけようとしている。 0.67
Can you tell me the answer? 答えを教えてくれませんか。 0.74
| Question: [Q] Answer: (1) Answer the question based on the paragraph. |質問: [Q]回答:(1)段落に基づく質問に対する回答。 0.72
| Question: [Q] | Paragraph: [C] (2) Answer the question based on the information contained in the paragraph. | 質問: [q] | 段落: [c] (2) 段落に含まれる情報に基づいて質問に答える。 0.71
| Question: [Q] | Paragraph: [C] (3) Context: [C] | I am trying to figure out the answer to the question from the above context. | question: [q] | paragraph: [c] (3) context: [c] | 私は上記の文脈から質問に対する答えを見つけようとしています。 0.79
Can you tell me the answer? 答えを教えてくれませんか。 0.74
| Question: [Q] Answer: (4) [C] | With reference to the above context, [Q] (5) I have always wondered: [Q] | I searched Wikipedia and this is what I found. 質問: [q] 回答: (4) [c] | 上述の文脈を参照すると、[q] (5) 私はいつも不思議に思っていました: [q] | 私はwikipediaを検索しました。 0.85
What’s the answer? | [C] (1) Answer the question based on paragraph 1 and paragraph 2. 答えは何か? | [C] (1) 第一項及び第二項に基づく質問に対する回答 0.68
| Question: Do Paragraph 1 and Paragraph 2 mean the same thing? 質問: パラグラフ1とパラグラフ2は同じ意味なのか? 0.56
| (A) Yes. (B) No. (C) Maybe. (a)はい。 (B) No. (C) おそらく。 0.68
| Paragraph 1: [T1] | Paragraph 2: [T2] (2) [T1] | Based on the previous passage, is it true that [T2]? | パラグラフ 1: [T1] | パラグラフ 2: [T2] (2) [T1] | 前の節に基づいて、 [T2] は真か? 0.79
Yes, no, or maybe? はい、いいえ、いや、多分? 0.69
(3) Suppose [T1] Can we infer that [T2]? (3) [t1] を[t2] と推測できるだろうか? 0.75
| Option: (A) Yes (B) No (C) Maybe? オプション: (A) Yes (B) No (C) may? 0.74
(4) Paragraph: [T1] | Question: Does this imply that “[T2]”? (4) パラグラフ: [T1] | Question: これは“[T2]”を意味するのだろうか? 0.92
|Yes, no, or maybe? いや、いや、たぶん? 0.46
(5) Given that [T1] Therefore, it must be true that [T2]? (5) [T1] を考えると、[T2] は真でなければならない。 0.79
Yes, no, or maybe? はい、いいえ、いや、多分? 0.69
(1) Answer the question based on paragraph 1 and paragraph 2. 1) 第一項及び第二項に基づく質問に回答する。 0.76
| Question: Do Paragraph 1 and Paragraph 2 express the same meaning? 質問:1段落と2段落は同じ意味を表現しているか。 0.65
|(A) Yes. (B) No. a)ははい。 (b)はい。 0.61
|Paragraph 1: [T1] | Paragraph 2: [T2] (2) Paragraph 1: [T1] | Paragraph 2: [T2] | Question: Do Paragraph 1 and Paragraph 2 express the same meaning? |パラグラフ1: [T1] | パラグラフ2: [T2] (2) パラグラフ1: [T1] | パラグラフ2: [T2] | 質問: パラグラフ1と パラグラフ2は同じ意味を表現しているか? 0.65
|Yes or No? (3) Suppose [T1] Can we infer that [T2]? イエスかノーか? (3) [t1] を[t2] と推測できるだろうか? 0.59
| Option: (A) Yes (B) No? オプション: (A) Yes (B) No? 0.74
(4) [T1] | Based on the previous passage, is it true that [T2]? (4)[T1] | 前の節に基づいて、[T2]は本当ですか? 0.80
Yes or no? (5) Given that [T1] Therefore, it must be true that [T2]? イエスかノーか? (5) [T1] を考えると、[T2] は真でなければならない。 0.65
Yes or no? (1) Answer the question based on the review. イエスかノーか? 1)レビューに基づいて質問に回答する。 0.60
| Question: Can we conclude that the buyer is satisfied with the product based on his review? 質問: 購入者が自分のレビューに基づいて製品に満足していると結論できるだろうか? 0.77
|(A) Yes. (B) No. a)ははい。 (b)はい。 0.61
| Review: [T1] (2) I am reading a review that says [T1]. T1](2) 私は[T1]と言うレビューを読んでいます。 0.75
Do you think the review is positive or negative? レビューは肯定的あるいは否定的だと思いますか? 0.73
(3) Review: [T1] | Did the reviewer find this product good or bad? (3) レビュー: [T1] | レビュアーは、この製品は良いか悪いかを見つけたか? 0.81
(4) Review: [T1] | Is this review positive or negative? (4) レビュー: [T1] | このレビューは肯定的か否定的か? 0.79
(5) Review: [T1] | Is the buyer satisfied with the product purchased? (5) レビュー:[T1] | 買い手は購入した商品に満足しているか。 0.80
(1) Answer the question based on the news. 1)そのニュースに基づいて質問に答える。 0.70
| Question: What topic does this news belong to? 質問:このニュースはどのトピックに属するのか? 0.81
| (A) Business and Industry. (a)事業及び産業。 0.64
(B) Economy. (C) Government and Society. (B)経済。 (C)政府と社会。 0.37
(D) Market. | News: [T1] (2) Is this a piece of news regarding (A) Business and Industry (B) Economy (C) Government and Society (D) Market? (D)市場。 A)ビジネス・アンド・インダストリー(B)経済(C)政府・社会(D)市場に関するニュースか?
訳抜け防止モード: (D)市場。 | News : [T1 ] (2 ) これは(A)ビジネスに関するニュースか? 産業(B) 経済(C) 政府と社会(D) 市場?
0.58
| [T1] (3) Article: [T1] | Which of the following sections of a newspaper would this article likely appear in? | [T1] (3) 条:[T1] | 新聞の次のセクションのうち、この記事が登場する可能性はあるか? 0.82
| Options: (A) Business and Industry (B) Economy (C) Government and Society (D) Market (4) What topic does this news belong to? |オプション:(A)ビジネス・アンド・インダストリー(B)経済(C)政府・社会(D)市場(4)このニュースはどのトピックに属するのか? 0.86
| (A) Business and Industry. (a)事業及び産業。 0.64
(B) Economy. (C) Government and Society. (B)経済。 (C)政府と社会。 0.37
(D) Market. | News: [T1] (5) Would you recommend the following article to a (A) Business and Industry (B) Economy (C) Government and Society (D) Market? (D)市場。 | News: [T1] (5)(A)ビジネス・アンド・インダストリー(B)エコノミー(C)政府・社会(D)市場への推薦をお願いします。 0.58
| [T1] Table 5: The cross-lingual (English) prompt templates studied in this work. | [T1] 表5: クロスランガル(英語)プロンプトテンプレートがこの研究で研究されている。 0.62
“Q”, “C”, “T1”, and “T2” denotes the placeholders for question, context, sentence1, and sentence2 field, respectively. Q”,“C”,“T1”,“T2”はそれぞれ,質問,文脈,文1,文2フィールドのプレースホルダーを表す。 0.66
                                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。