論文の概要、ライセンス

# (参考訳) タイポロジーブラインドは言語間共有を妨げるか? [全文訳有]

Does Typological Blinding Impede Cross-Lingual Sharing? ( http://arxiv.org/abs/2101.11888v1 )

ライセンス: CC BY 4.0
Johannes Bjerva and Isabelle Augenstein(参考訳) 高リソース言語と低リソース言語のパフォーマンスギャップを埋めることは、これまでの作業の焦点でした。 World Atlas of Language Structures (WALS) のようなデータベースの分類学的な特徴は、非常に低リソースの言語でさえ存在するため、その主要な候補である。 しかし、以前の研究はタイプ学的な情報を使うことから小さな利点しか得られていない。 我々の仮説は、言語横断的な設定で訓練されたモデルが入力データから類型的手がかりを拾い上げ、そのような特徴を明示的に利用することの有用性を誇張するものである。 この仮説を,タイポロジー情報に対するモデル盲目化によって検証し,言語間共有とパフォーマンスへの影響について検討する。 我々のモデルは、言語間の共有を規定する潜在重みを訓練中に学習する言語間アーキテクチャに基づいている。 i)このモデルがタイポロジーを悪用することを防ぐことはパフォーマンスを著しく低下させるが、制御実験では、(ii)タイポロジーによる共有がパフォーマンスを多少改善することを再確認している。

Bridging the performance gap between high- and low-resource languages has been the focus of much previous work. Typological features from databases such as the World Atlas of Language Structures (WALS) are a prime candidate for this, as such data exists even for very low-resource languages. However, previous work has only found minor benefits from using typological information. Our hypothesis is that a model trained in a cross-lingual setting will pick up on typological cues from the input data, thus overshadowing the utility of explicitly using such features. We verify this hypothesis by blinding a model to typological information, and investigate how cross-lingual sharing and performance is impacted. Our model is based on a cross-lingual architecture in which the latent weights governing the sharing between languages is learnt during training. We show that (i) preventing this model from exploiting typology severely reduces performance, while a control experiment reaffirms that (ii) encouraging sharing according to typology somewhat improves performance.
公開日: Thu, 28 Jan 2021 09:32:08 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Does Typological Blinding Impede Cross-Lingual Sharing? タイポロジーブラインドは言語間共有を妨げるか? 0.41
Isabelle Augenstein アイザベル・オーゲンシュタイン(Isabelle Augenstein) 0.40
University of Copenhagen augenstein@di.ku.dk コペンハーゲン大学 augenstein@di.ku.dk 0.74
Department of Computer Science Department of Computer Science 計算機科学専攻 計算機科学専攻 0.61
Johannes Bjerva Johannes Bjerva 0.85
Aalborg University Aalborg 大学 0.79
1 2 0 2 n a J 1 2 0 2 n a J 0.85
8 2 ] L C . 8 2 ] L C。 0.78
s c [ 1 v 8 8 8 1 1 sc [ 1 v 8 8 8 1 1 0.68
. 1 0 1 2 : v i X r a . 1 0 1 2 : v i X r a 0.85
jbjerva@cs.aau.dk jbjerva@cs.aau.dk 0.59
Abstract Bridging the performance gap between highand low-resource languages has been the focus of much previous work. 概要 高リソース言語と低リソース言語のパフォーマンスギャップを埋めることは、これまでの作業の焦点でした。
訳抜け防止モード: 概要 高低低リソース言語のパフォーマンスギャップを埋める 今までの作業に 焦点を合わせてきた。
0.55
Typological features from databases such as the World Atlas of Language Structures (WALS) are a prime candidate for this, as such data exists even for very low-resource languages. World Atlas of Language Structures (WALS) のようなデータベースの分類学的な特徴は、非常に低リソースの言語でさえ存在するため、その主要な候補である。 0.78
However, previous work has only found minor benefits from using typological information. しかし、以前の研究はタイプ学的な情報を使うことから小さな利点しか得られていない。 0.47
Our hypothesis is that a model trained in a cross-lingual setting will pick up on typological cues from the input data, thus overshadowing the utility of explicitly using such features. 我々の仮説は、言語横断的な設定で訓練されたモデルが入力データから類型的手がかりを拾い上げ、そのような特徴を明示的に利用することの有用性を誇張するものである。 0.66
We verify this hypothesis by blinding a model to typological information, and investigate how cross-lingual sharing and performance is impacted. この仮説を,タイポロジー情報に対するモデル盲目化によって検証し,言語間共有とパフォーマンスへの影響について検討する。 0.71
Our model is based on a cross-lingual architecture in which the latent weights governing the sharing between languages is learnt during training. 我々のモデルは、言語間の共有を規定する潜在重みを訓練中に学習する言語間アーキテクチャに基づいている。 0.80
We show that (i) preventing this model from exploiting typology severely reduces performance, while a control experiment reaffirms that (ii) encouraging sharing according to typology somewhat improves performance. i)このモデルがタイポロジーを悪用することを防ぐことはパフォーマンスを著しく低下させるが、制御実験では、(ii)タイポロジーによる共有がパフォーマンスを多少改善することを再確認している。 0.57
Introduction 1 Most languages in the world have little access to NLP technology due to data scarcity (Joshi et al., 2020). はじめに 1 世界のほとんどの言語は、データ不足によるNLP技術へのアクセスがほとんどありません(Joshi et al., 2020)。 0.69
Nonetheless, high-quality multilingual representations can be obtained using only a raw text signal, e.g. それでも、例えば、生のテキスト信号のみを使用して高品質な多言語表現を得ることができる。 0.64
via multilingual language modelling (Devlin et al., 2019). 多言語言語モデリング(Devlin et al., 2019)を通じて。 0.83
Furthermore, structural similarities of languages are to a large extent documented in typological databases such as the World Atlas of Language Structures (WALS, Dryer and Haspelmath (2013)). さらに、言語の構造的類似性は、World Atlas of Language Structures(WALS、Dryer、Haspelmath(2013))などのタイポロジーデータベースで広く文書化されている。 0.76
Hence, developing models which can take use typological similarities of languages is an important direction in order to alleviate language technology inequalities. したがって、言語の類型的類似性を活用できるモデルの開発は、言語技術の不等式を緩和するための重要な方向である。
訳抜け防止モード: したがって、言語の類型的類似性を活用できるモデルの開発 言語技術の不平等を緩和するために重要な方向です。
0.82
While previous work has attempted to use typological information to inform NLP models, our これまでの研究では、NLPモデルへの情報伝達にタイポロジー情報を用いています。 0.55
Figure 1: A PoS tagger is exposed (or blinded with gradient reversal, −λ) to typological features. 図1: pos タグがタイプロジーの特徴に露出(または勾配反転で盲目、−λ)する。 0.73
Observing α values tells us how typology affects sharing. α値の観測は、タイポロジーが共有にどのように影響するかを示す。 0.44
work differs significantly from such efforts in that we blind a model to this information. 作業は、この情報にモデルを盲目にする作業とは大きく異なります。 0.62
Most previous work includes language information as features, by using language IDs, or language embeddings (e.g. これまでの作業の多くは、言語IDや言語埋め込み(例)を使って、機能として言語情報を含んでいる。 0.59
Ammar et al. (2016); O’Horan et al. とAmmarら。 (2016年): O’Horanら。 0.59
(2016); ¨Ostling and Tiedemann (2017); Ponti et al. 2016年)、『ostling and tieemann』(2017年)、『ponti et al』。 0.50
(2019); Oncevay et al. (2019); Oncevay et al。 0.71
(2020)). Notably, limited effects are usually observed from including typological features explicitly. (2020)). 特に、限定的な効果は通常、タイプ論的特徴を明示的に含めることから観察される。 0.69
For instance, de Lhoneux et al. 例えば、De Lhoneux et al。 0.65
(2018) observe positive cross-lingual sharing effects only in a handful of their settings. (2018) 少数の設定でのみ肯定的な言語間共有効果が観察された。 0.65
We therefore hypothesise that relevant typological information is learned as a by-product of cross-lingual training. そこで本研究では,言語横断学習の副産物として,関連する類型情報が学習されることを仮説とした。 0.44
Hence, although models do benefit from this information, it is not necessary to provide it explicitly in a high-resource scenario, where there is abundant training data. したがって、モデルはこの情報から恩恵を受けますが、豊富なトレーニングデータがある高リソースシナリオで明示的に提供する必要はありません。 0.79
This is confirmed by Bjerva and Augenstein (2018a), who find that, e.g., language embeddings trained on a morphological task can encode morphological features from WALS. これはBjervaとAugenstein(2018a)によって確認され、形態学的タスクで訓練された言語埋め込みがWALSから形態学的特徴をエンコードできることを発見した。 0.60
In contrast with previous work, we blind a model to typological information, by using adversarial 先行研究とは対照的に 敵意を用いて 類型的情報へのモデルを見失います 0.76
英語(論文から抽出)日本語訳スコア
techniques based on gradient reversal (Ganin and Lempitsky, 2014). 勾配反転に基づく手法(Ganin and Lempitsky, 2014)。 0.70
We evaluate on the structured prediction and classification tasks in XTREME (Hu et al., 2020), yielding a total of 40 languages and 4 tasks. 我々は,XTREME (Hu et al., 2020) における構造化予測と分類タスクを評価し,40言語,4タスクについて検討した。 0.83
We show that when a model is blinded to typological signals relating to syntax and morphology, performance on related NLP tasks drops significantly. 構文や形態に関するタイポロジー信号にモデルが盲目になると、関連するNLPタスクのパフォーマンスが大幅に低下することを示した。 0.72
For instance, the mean accuracy across 40 languages for POS tagging drops by 1.8% when blinding the model to morphological features. 例えば、POSタグの40言語の平均精度は、モデルから形態的特徴を無視すると1.8%低下する。 0.74
2 Model An overview of the model is shown in Figure 1. 2モデル モデルの概要は図1に示します。 0.74
We model each task in this paper using the following steps. 本稿では,各タスクを次のステップでモデル化する。 0.78
First, contextual representations are extracted using multilingual BERT (m-BERT, Devlin et al. まず、多言語BERT (m-BERT, Devlin et al) を用いて文脈表現を抽出する。 0.58
(2019)), a transformer-based model (Vaswani et al., 2017), trained with shared wordpieces across languages. (2019)はトランスフォーマーベースのモデル(vaswani et al., 2017)で、言語間で共有されたワードピースで訓練された。 0.64
We either blind m-BERT to typological features, with an added adversarial component based on gradient reversal (Ganin and Lempitsky, 2014), or expose it to them via multitask learning (MTL, (Caruana, 1997)). グラデーション逆転(Ganin and Lempitsky, 2014)に基づく対比成分を付加したm-BERTをタイプ論的特徴に盲目化するか、マルチタスク学習(MTL, Caruana, 1997)によってそれらに公開する。 0.79
Representations from m-BERT are fed to a latent multi-task architecture learning network (Ruder et al., 2019), which includes α parameters we seek to investigate. m-BERTからの表現は、調査対象とするαパラメータを含む潜在マルチタスクアーキテクチャ学習ネットワーク(Ruder et al., 2019)に供給される。 0.77
The model learns which parameters to share between languages (e.g. モデルはどのパラメータを言語間で共有するかを学習する(例)。 0.69
αes,f r denotes sharing between Spanish and French). αes,f r はスペイン語とフランス語の共有を意味する。 0.62
2.1 Sharing architecture Our sharing architecture is based on that of Ruder et al. 2.1 共有アーキテクチャ 共有アーキテクチャはRuderなどをベースにしています。 0.76
(2019), which has latent variables learned during training, governing which layers and subspaces are shared between tasks, to what extent, as well as the relative weighting of different task losses. トレーニング中に学習した潜在変数を持ち、どのレイヤとサブスペースがタスク間でどの程度共有されているか、また異なるタスク損失の相対的な重み付けを管理する(2019)。 0.68
We are most interested in the parameters which control the sharing between the hidden layers allocated to each task, referred to as α parameters (Ruder et al., 2019). 私たちは、各タスクに割り当てられた隠れたレイヤ間の共有を制御するパラメータに最も興味を持ち、αパラメータ(ruder et al., 2019)と呼ばれる。 0.73
Consider a setting with two tasks A and B. 2つのタスク A と B のセットを考える。 0.80
The outputs hA,k and hB,k of the k-th layer for task A and B interact through the α parameters, for which the output is defined as: タスクA,Bのためのk段層の出力hA,k,hB,kはαパラメータを介して相互作用し、出力は次のように定義される。 0.85
(cid:20)αAA αAB (cid:20)αAA αAB 0.71
(cid:34)(cid:101)hA, k(cid:101)hB,k (cid:62)(cid:3) (1) where(cid:101)hA,k is a linear combination of the acti- (cid:34)(cid:101)hA, k(cid:101)hB,k(cid:6 2)(cid:3) (1) (cid:101)hA,kはアクティの線形結合である。 0.76
(cid:21)(cid:2)hA,k (cid:21)(cid:2)hA,k 0.84
vations for task A at layer k, weighted with the learned αs. 学習したαで重みづけられたレイヤーkのタスクAのためのVations。 0.64
While their model is an MTL model, モデルはMTLモデルである。 0.63
(cid:35) = (cid:35) = 0.82
αBA αBB (cid:62) , hB,k αBA αBB (cid:62)hb,k 0.80
we choose to interpret this differently by considering each language as a task, yielding α ∈ Rl×l, where l is the number of languages for the given 私たちは、各言語をタスクとして考慮し、α ∈ Rl×l、 l を与えられた言語の数とすることで、これを異なる解釈することを選びます。
訳抜け防止モード: それぞれの言語をタスクとして捉えることで、異なる解釈を選びます。 代入 α ∈ Rl×l , ここで l は与えられた言語の数である
0.84
task. Each activation(cid:101)h A,k is then a linear com- タスク。 各アクティベーション(cid:101)hA,kは線形コンマである。 0.66
bination of the language specific activations hA,k. 言語特異的アクティベーションのバイネーションはhA,kである。 0.61
These are used for prediction in the downstream tasks, as in the baselines from Hu et al. これらはHu et alのベースラインのように、下流のタスクで予測に使用されます。 0.70
(2020). Crucially, this model allows us to draw conclusions about parameter sharing between languages by observing the α parameters under the blinding and prediction conditions. (2020). 本モデルは,ブラインド条件と予測条件下でαパラメータを観測することで,言語間のパラメータ共有に関する結論を導き出すことができる。 0.82
We will combine this insight with observing downstream task performance in order to draw conclusions about the effects of typological feature blinding and prediction. この知見と下流のタスクパフォーマンスの観察を組み合わせることで、タイプ的特徴のブラインドと予測の影響について結論を導き出す。 0.76
2.2 Blinding/Exposing a Model to Typology We introduce a component which can either blind or expose the model to typological features. 2.2 Blinding/Exposing a Model to Typology 私たちは、モデルを盲目または型的特徴に公開できるコンポーネントを紹介します。 0.75
We implement this as a single task-specific layer per feature, using the [CLS] token from m-BERT model, without access to any of the soft sharing between languages from α-layers. 私たちはこれを、m-bertモデルからの[cls]トークンを使用して、α層からの言語間のソフトな共有にアクセスせずに、機能ごとにひとつのタスク固有のレイヤとして実装します。
訳抜け防止モード: これを単一のタスクとして実装します。 m - BERT モデルから [CLS ] トークンを使用します。 α層からの言語間の柔らかい共有のいずれかへのアクセスなしで。
0.64
Each layer optimises a categorical cross-entropy loss function (Ltyp). 各層はカテゴリ横断エントロピー損失関数(Ltyp)を最適化する。 0.83
For this task, we predict typological features drawn from WALS (Dryer and Haspelmath, 2013), inspired by previous work (Bjerva and Augenstein, 2018a). そこで,本研究では, WALS (Dryer and Haspelmath, 2013) の類型的特徴を予測し, これまでの研究 (Bjerva and Augenstein, 2018a) に触発された。 0.72
Unlike previous work, we also blind the model to such features by including a gradient reversal layer (Ganin and Lempitsky, 2014), which multiplies the gradient of the typological prediction task with a negative constant (−λ), inspired by previous work on adversarial learning (Goodfellow et al., 2014; Zhang et al., 2019; Chen et al., 2019). 従来の研究とは異なり、我々はまた、逆学習に関する以前の研究(Goodfellow et al., 2014; Zhang et al., 2019; Chen et al., 2019)に触発された負定数(−λ)でタイポロジー予測タスクの勾配を乗じる勾配逆転層(Ganin and Lempitsky, 2014)を含むことによって、そのような特徴にモデルを盲目化します。 0.81
We hypothesise that using a gradient reversal layer for typology will yield typology-invariant features, and that this will perform worse on tasks for which the typological feature at hand is important. タイポロジーに勾配反転層を用いるとタイポロジー不変な特徴が生まれ、手の前のタイポロジー的特徴が重要であるタスクではこれがより良くなると仮定する。 0.57
For instance, we expect that blinding a model to syntactic features will severely reduce performance for tasks which rely heavily on syntax, such as POS tagging. 例えば、モデルを構文的特徴に盲目化することで、POSタグ付けのような構文に大きく依存するタスクのパフォーマンスが大幅に低下すると予想しています。 0.67
3 Cross-Lingual Experiments 3つのクロスリンガル実験 0.55
We investigate the effects of typological blinding, using typological parameters as presented in WALS (Dryer and Haspelmath, 2013). 本研究は,wals (dryer and haspelmath, 2013) で提示されたタイポロジーパラメータを用いて,タイポロジーブラインドの効果について検討した。 0.50
The experiments are run on XTREME (Hu et al., 2020), which includes up to 40 languages from 12 language families and two isolates. 実験はXTREME(Hu et al., 2020)上で行われ、12の言語ファミリーと2つのアイソレーションから最大40の言語が含まれています。 0.80
We experiment on the following languages (ISO 639-1 codes): af, ar, bg, bn, de, el, en, es, et, eu, fa, fi, fr, he, hi, hu, id, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, pt, ru, sw, af, ar, bg, bn, de, el, en, es, et, eu, fa, fi, fr, he, hi, hu, id, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, pt, ru, sw,
訳抜け防止モード: 私たちは、以下の言語(ISO 639 - 1コード)を実験します。 ar、bg、bn、de、el、en、 es, et, eu, fa, fi, fr, 彼は、こんにちは、hu、私はそれ、J、JV、それ。 Ka, KK, Ko, ml, Mr, Ms, 私の 、 nl 、 pt 、 ru 、 w 、 。
0.73
英語(論文から抽出)日本語訳スコア
ta, te, th, tl, tr, ur, vi, yo, and zh. Ta, te, th, tl, tr, ur, vi, yo, zh 0.67
We experiment on four tasks: POS (part of speech tagging), NER (named entity recognition), XNLI (cross-lingual natural language inference), and PAWS-X (paraphrase identification). POS(音声タグ付けの一部)、NER(実体認識)、XNLI(多言語自然言語推論)、PAWS-X(パラフレーズ識別)の4つのタスクについて実験した。 0.77
Our general setup for the structured prediction tasks (POS and NER) is that we train on all available languages, and downsample to 1,000 samples per language. 構造化予測タスク(POSとNER)の一般的な設定は、利用可能なすべての言語でトレーニングし、1言語あたり1,000のサンプルにダウンサンプルすることです。 0.74
For the classification tasks XNLI and PAWS-X, we train on the English training data and fine-tune on the development sets, as no training data is available for other languages. 分類タスク XNLI と PAWS-X では、他の言語でトレーニングデータがないため、英語のトレーニングデータと開発セットの微調整をトレーニングします。 0.74
Hence, typological differences will be the main factor in our results, rather than differences in dataset sizes. したがって、データセットサイズの違いよりも、タイプ的差異が結果の主要因となる。 0.75
3.1 Typological Prediction and Blinding We first investigate whether prohibiting or allowing access to typological features has an effect on model performance using our architecture. 3.1 類型的予測とブラインド まず, 類型的特徴へのアクセスの禁止と許容が, アーキテクチャを用いたモデル性能に与える影響について検討する。 0.68
We hypothesise that our multilingual model will leverage signals related to the linguistic nature of a task when optimising its its sharing parameters α. 私たちの多言語モデルは、タスクの言語的性質に関連する信号を利用して、その共有パラメータαを最適化すると仮定する。 0.72
There exists a growing body of work on prediction of typological features (Daum´e III and Campbell, 2007; Murawaki, 2017; Bjerva and Augenstein, 2018b; Bjerva et al., 2019a,b), most notably in a recent shared task on the subject (Bjerva et al., 2020). 類型的特徴の予測に関する研究が増加している(Daum ́e III and Campbell, 2007; Murawaki, 2017; Bjerva and Augenstein, 2018b; Bjerva et al., 2019a, b)。
訳抜け防止モード: 類型的特徴の予測に関する研究が増えている(daum ́e iii) and campbell, 2007; murawaki, 2017; bjerva and augenstein (英語) 2018b ; bjerva et al ., 2019a, b)。 最も注目すべきは、このテーマに関する最近の共有タスク(bjerva et al ., 2020)である。
0.74
While we are inspired by this direction of research, our contribution is not concerned with the accuracy of the prediction of such features, and this is therefore not evaluated in detail in the paper. この研究の方向性に触発されてはいるが,これらの特徴の予測の正確性には関係がなく,本論文では詳細な評価は行われていない。 0.76
Moreover, an increasing amount of work measures the correlation of predictive performance of cross-lingual models with typological features as a way of probing what a model has learned about typology (Malaviya et al., 2017; Choenni and Shutova, 2020; Gerz et al., 2018; Nooralahzadeh et al., 2020; Zhao et al., 2020). さらに、多言語モデルと類型的特徴の予測性能の相関関係を、モデルがタイポロジーについて何を学んだかを調査する方法として測定している(Malaviya et al., 2017; Choenni and Shutova, 2020; Gerz et al., 2018; Nooralahzadeh et al., 2020; Zhao et al., 2020)。 0.80
In contrast to such post-hoc approaches, our experimental setting allows for measuring the impact of typology on crosslingual sharing performance in a direct manner as part of the model architecture. このようなポストホックなアプローチとは対照的に、我々の実験的な設定は、モデルアーキテクチャの一部として直接的に、言語間共有性能に対するタイポロジーの影響を測定することができる。 0.62
Syntactic Features We first blind/expose the model to syntactic features from WALS (Dryer and Haspelmath, 2013). 統語的特徴 最初に、WALS(Dryer and Haspelmath, 2013)の統語的特徴にモデルを盲目/公開する。 0.70
We take the set of word order features which are annotated for all languages in our experiments, resulting in 33 features. 私たちの実験では、すべての言語で注釈付けされている単語順の特徴のセットを取り、33の機能を生み出します。 0.68
This includes features such as 81A: Order of Subject, Object and Verb, which encodes what the preferred word ordering is (if any) in a transitive clause. 81a: order of subject, object, verb, 81a: order of subject, object, verb, 81a: order of subject, object, verb などの特徴を含む。 0.66
For all features, we exclude feature values which do すべての機能については、機能値を排除します。 0.56
not occur for our set of languages. 私たちの言語には発生しません。 0.65
We hypothesise that performance will drop for all four tasks, as they all require syntactic understanding. 私たちは、すべての4つのタスクでパフォーマンスが低下すると仮定します。 0.56
Morphological Features We next attempt to blind/expose the model to the morphological features in WALS. 形態学的特徴 次に、walsの形態的特徴にモデルを盲目/露出させようとする。
訳抜け防止モード: 形態学的特徴 次の試み WALSの形式的特徴にモデルを盲目/露出させる。
0.68
We use the same approach as above, resulting in a total of 8 morphological features. 上記の方法と同じ手法で, 合計8つの形態学的特徴が得られた。 0.73
This includes features such as 26A: Prefixing vs. Suffixing in Inflectional Morphology, indicating to what extent a language uses prefixing or suffixing morphology. 26A: Inflectional MorphologyのPrefixing vs. Suffixingのような機能が含まれており、言語がプレフィックスや接尾辞をどの程度使っているかを示している。
訳抜け防止モード: 26a : prefixing vs. suffixing in in inflectional morphology, 程度を示すさま 言語は接頭辞または接尾辞の形態を用いる。
0.76
We hypothesise that mainly the POS tagging task will suffer under this condition, whereas other tasks only to some extent require morphology. この条件下ではposタグタスクが主に苦しむが、他のタスクはある程度のみ形態学を必要とすると仮定する。 0.57
in which we attempt Phonological Features We next consider a control experiment, to blind/expose the model to phonological features in WALS. そこで私たちは 音韻学的特徴 次に、walsの音韻的特徴にモデルを盲目/露出させる制御実験を考える。 0.63
We arrive at a total of 15 phonological features, such as 1A: Consonant Inventories which indicates the size of the consonant inventory of a language. 私たちは、言語の子音インベントリのサイズを示す1A:子音インベントリなど、合計15の音韻学的特徴に到達します。 0.70
We expect the performance to remain relatively unaffected by this task, as phonology ought to have little importance given a textual input. 音韻学はテキスト入力によってほとんど重要でないはずですので、このタスクではパフォーマンスは比較的影響を受けません。 0.53
Genealogical Features Finally, we attempt to use what one might consider to be language metadata. 生成的特徴 最後に、言語メタデータと考えるものを使用しようとします。 0.65
We attempt to blind/expose the model to what language family a language belongs to. 私たちは、ある言語が属する言語ファミリーにモデルを盲目/公開しようとします。 0.73
This can be seen as a type of proxy to language similarity, and correlates relatively strongly with structural similarities in languages. これは言語の類似性に対するプロキシの一種と見られ、言語の構造的類似性と相対的に強く相関する。 0.80
Because of this correlation with structural similarities, we expect blinding under this condition to only slightly reduce performance for all tasks, as previous work has shown this type of relationship not to be central in language representations (Bjerva et al., 2019c). このような構造的類似性との相関から、この条件下での盲目化は全てのタスクのパフォーマンスをわずかに低下させると期待している(Bjerva et al., 2019c)。
訳抜け防止モード: この構造的類似性との相関から この条件下での盲目化を期待します すべてのタスクのパフォーマンスをわずかに低下させる。 前回の研究が示したように この種の関係は言語表現の中心ではない(bjerva et al ., 2019c)。
0.70
3.2 Results In general, we observe a drop in performance when blinding the model to relevant typological information, and an increase in performance when exposing the model to it (Table 1). 3.2結果 一般論として,モデルが関連する類型情報に目を向ける際の性能低下と,モデルに暴露する際の性能上昇を観察する(表1)。 0.89
For phonological blinding or prediction, none of the four tasks is noticeably affected. 音韻学的ブラインドや予測では、4つのタスクのいずれも顕著な影響を受けない。 0.53
Although, e.g., both the syntactic and morphological prediction tasks increase performance on POS tagging, it is not straightforward to draw conclusions on which of these is the most efficient, as there is a substantial correlation between syntactic and morphological features. 例えば、構文的および形態的予測タスクはposタグのパフォーマンスを高めるが、構文的特徴と形態的特徴との間にかなりの相関があるため、どれが最も効率的かという結論を導くのは簡単ではない。 0.65
As for XNLI and PAWS-X, performance notably drops under both the syntactic and genealogical blinding tasks. XNLIとPAWS-Xは、構文的および系統的ブラインドタスクの両方でパフォーマンスが著しく低下する。 0.69
英語(論文から抽出)日本語訳スコア
Figure 2: PoS tagging results per language family across blinding and prediction conditions 図2: 盲目および予測条件の言語ファミリーごとの PoS タグ付け結果。 0.81
POS NER XNLI PAWS-X Model 85.3− 76.4 + Syntactic Blind. POS NER XNLI PAWS-X Model 85.3- 76.4 + Syntactic Blind 0.71
+ Morphological Blind. 85.0− 77.2 + Phonological Blind. + 形態的盲目。 85.0- 77.2 + Phonological Blind 0.69
77.1 86.7 77.0 + Genealogical Blind. 77.1 86.7 77.0 + Genealogical Blind 0.66
86.1 m-BERT baseline 77.3 86.8 87.0 + Syntactic Pred. 86.1 m-BERTベースライン77.3 86.8 87.0 + Syntactic Pred。 0.56
77.5 87.2+ 77.3 + Morphological Pred. 77.5 87.2+ 77.3 + Morphological Pred。 0.61
77.1 86.7 + Phonological Pred. 77.1 86.7+Phonological Pred 0.74
77.6 + Genealogical Pred. 77.6 + 系譜。 0.75
87.0 64.2− 80.6− 81.4 64.9 65.0 81.6 81.1 64.7 65.1 81.7 65.3+ 81.9+ 81.7 65.2 65.0 81.7 65.3+ 81.8 87.0 64.2− 80.6− 81.4 64.9 65.0 81.6 81.1 64.7 65.1 81.7 65.3+ 81.9+ 81.7 65.2 65.0 81.7 65.3+ 81.8 0.48
Table 1: Typological Blinding and Prediction. 表1:Typological Blinding and Prediction。 0.74
Mean POS accuracy, NER F1 scores, XNLI accuracy and PAWS-X accuracy across all languages. 全言語で平均pos精度、ner f1スコア、xnli精度、paws-x精度。 0.67
+ and − indicate significantly better or worse performance respectively, as determined by a one-tailed t-test (p < 0.01). p < 0.01) によって決定されるように、+ と − はそれぞれ著しく良いか悪いパフォーマンスを示す。 0.72
Figure 2 shows results for PoS tagging under prediction and blinding across language families, following the same scheme as Hu et al. 図2は、予測下でのPoSタグ付けの結果を示し、Hu et alと同じスキームに従って、言語ファミリーをブラインドする。 0.66
(2020). Interestingly, the syntactic and morphological blinding settings are robust across all language families, yielding a drop in accuracy across the board. (2020). 興味深いことに、構文的および形態的ブラインド設定はすべての言語ファミリで堅牢であり、ボード全体で精度が低下する。 0.72
All other conditions yield mixed results. 他の条件は全て混合結果をもたらす。 0.73
This further strengthens our argument that preventing a model from learning syntactic and morphological features can be severely detrimental. これにより,モデルが構文的・形態学的特徴を学習することを防ぐことは極めて有害である,という議論がさらに強まる。 0.53
3.3 The Effect of Typology on Latent 3.3 タイポロジーの潜在性への影響 0.63
Architecture Learning The results show that preventing access to typological features hampers performance, whereas providing access improves performance. アーキテクチャ学習 その結果,タイプ的特徴へのアクセスの防止は性能を損なう一方で,アクセスを提供することで性能が向上することがわかった。
訳抜け防止モード: アーキテクチャ学習 その結果 タイポロジー機能へのアクセスがパフォーマンスを阻害する一方で、アクセスの提供によりパフォーマンスが向上する。
0.71
We now turn to an analysis of how the model shares parameters across languages in this setting. この設定では、モデルが言語間でパラメータを共有する方法を分析しています。 0.70
Our hypothesis is that blinding will prevent models from sharing parameters between similar languages, in spite of typological similarities. タイポロジー的な類似性にもかかわらず、ブラインドはモデルが類似言語間でパラメータを共有することを妨げているという仮説である。
訳抜け防止モード: 私たちの仮説は 視覚障害者は 類似した言語間で モデルを共有するのを防ぎます 類型的類似性にもかかわらず
0.64
Concretely, we expect that the drop in POS tagging performance under morphological blinding is caused by lower α weights between languages which are morphologically similar, and higher α weights between languages which are dissimilar. 具体的には, 形態的ブラインドによるPOSタグ付け性能の低下は, 形態的類似言語間のα重みの低下と, 相似言語間のα重みの増大に起因すると期待する。 0.72
Recall that these parameters are latent variables learned by the model, regulating the amount of sharing between languages (see Eq. これらのパラメータはモデルによって学習された潜在変数であり、言語間の共有量を調整することを思い出してください(eq参照)。 0.64
1). We investigate the correlations between the α sharing parameters, and two proxies of language similarity. 1). α共有パラメータと言語類似性の2つのプロキシの相関関係を検討する。 0.81
We focus on the POS task, as the results from the typological blinding and prediction experiments were the most pronounced here, as both morphological and syntactic blinding affected performance. 私たちはPOSタスクに焦点を合わせ、タイポロジー盲検と予測実験の結果がここで最も顕著であり、形態学的およびシンタクティック盲検の両方がパフォーマンスに影響を与えた。 0.67
Our first measure of language similarity is based on Bjerva et al. 我々の言語類似性の最初の尺度は、bjervaらに基づいている。 0.67
(2019c), who introduce what they refer to as structural similarity. (2019c) 構造的類似性と呼ばれるものを紹介する。 0.80
This is based on これはベースです。 0.56
英語(論文から抽出)日本語訳スコア
Model Syntactic Blind. Morphological Blind. モデル構文盲目。 形態的盲目。 0.63
Phonological Blind. Phonological Blind の略。 0.61
Genealogical Blind. No blind./pred. 系図の盲点。 盲目なし。 0.57
Syntactic Pred. Morphological Pred. 統語的前奏。 形態素のプレド。 0.41
Phonological Pred. Phonological Predの略。 0.63
Genealogical Pred. Struct. 系譜学の先駆者。 構造。 0.46
Lang. Emb. 0.27 0.29 0.41 0.31 0.40 0.53 0.56 0.39 0.38 ラン。 Emb 0.27 0.29 0.41 0.31 0.40 0.53 0.56 0.39 0.38 0.48
0.31 0.34 0.40 0.29 0.43 0.52 0.49 0.41 0.47 0.31 0.34 0.40 0.29 0.43 0.52 0.49 0.41 0.47 0.42
Table 2: Pearson correlations between α weights and language similarity measures. 表2:α重みと言語類似度尺度の間のピアソン相関。 0.75
dependency statistics from the Universal Dependencies treebank (Zeman et al., 2020), resulting in vectors which describe how different syntactic relations are used in each language. Universal Dependencies treebank (Zeman et al., 2020) の依存性統計は、それぞれの言語でどのように異なる構文関係が使われているかを記述するベクトルをもたらす。 0.78
Previous work has shown that this measure of similarity correlates strongly with that learned in embedded language spaces during multilingual training. 前回の研究では、この類似度の測定値が、多言語訓練中に組込み言語空間で学んだ値と強く相関していることが示されている。
訳抜け防止モード: 前回の研究では この類似度尺度は、多言語訓練中に組込み言語空間で学習された尺度と強く相関する。
0.61
In addition to considering these dependency statistics, we also use language embeddings drawn form ¨Ostling and Tiedemann (2017). これらの依存性統計を考慮するのに加えて、言語埋め込みもOstling と Tiedemann (2017) で表現されている。 0.67
For each language similarity measure we calculate its pairwise Pearson correlation with the α values learned under each condition. 各言語類似度尺度について、各条件下で得られたα値とのペアワイズピアソン相関を計算する。 0.74
Table 2 shows correlations between α weights and similarities increase when predicting typological features, and decreases when blinded to such features. 表2は、タイプ学的特徴を予測する際にα重みと類似度の間の相関関係を示し、そのような特徴に盲目すると減少する。 0.64
Hence, when the model has indirect access to, e.g., the SVO word ordering features of languages, sharing also reflects this. したがって、モデルが言語のSVOワード順序付け機能に間接的にアクセスできる場合、共有もまたこれを反映している。 0.72
4 Discussion We have shown that blinding a multilingual model to typological features severely affects sharing across a relatively large language sample, and for several NLP tasks. 4 議論 我々は,多言語モデルから類型的特徴への盲目化が,比較的大きな言語サンプル間の共有や,いくつかのNLPタスクに大きく影響していることを示してきた。 0.68
The effects on model performance, as evaluated over 40 languages and 4 tasks from XTREME (Hu et al., 2020), were the largest for POS tagging. XTREME(Hu et al., 2020)の40以上の言語と4つのタスクで評価されたモデル性能は,POSタグ付けにおいて最大であった。 0.81
The fact that smaller effects were observed for NER, could be because this task relies more on memorising NEs rather than using (morpho-)syntactic cues (Augenstein et al., 2017). NERに対してより小さな効果が観察されたという事実は、このタスクが(モルフォ-)シンタクティックキュー(Augenstein et al., 2017)を使用するよりも、NEの記憶に依存しているためである。 0.63
Furthermore, the relatively small effects on XNLI and PAWS-X can also be interpreted as evidence for that typology is less important in these tasks than in more traditional linguistic analysis. さらに、XNLIとPAWS-Xに対する比較的小さな影響は、従来の言語分析よりもこれらのタスクでタイポロジーが重要でないという証拠として解釈することもできます。 0.68
A potential critique of our approach is that it merely blinds the model to language identities. 我々のアプローチの潜在的な批判は、単にモデルを言語アイデンティティに盲目にするだけである。 0.70
This could be the case, if only some latent representation of, e.g., “SVO” ordering is used to represent a language identity. 例えば、「SVO」の順序付けが言語のアイデンティティを表すのに使用されている場合、これは当てはまります。 0.62
However, previous work has shown that morphological information is encoded by the type of model we investigate. しかし, 過去の研究では, 形態情報がモデルの種類によって符号化されていることが示されている。
訳抜け防止モード: しかし 前回の研究では 形態情報は調査するモデルの種類によって符号化される。
0.81
Hence, since we only blind features in a single category at a time, we expect that the model’s representation of language identities is unaffected. したがって、一度に1つのカテゴリでしか特徴を認識できないため、モデルの言語アイデンティティの表現には影響がないと期待しています。 0.68
Not only do we observe a drop in performance when blinding a model to syntactic features, but we also observe that the α sharing weights in our model do not appear to correlate with linguistic similarities in this setting. シンタクティックな特徴にモデルを盲目的にした場合のパフォーマンス低下を観察するだけでなく、モデル内のα共有重みがこの設定における言語的類似性と相関していないことを観察する。 0.83
Conversely, encouraging a model to consider typology, by jointly optimising it for typological feature prediction, improves performance in general. 逆に,類型的特徴予測を共同で最適化することで,モデルに類型論的考慮を促すことで,全般的な性能の向上が期待できる。 0.63
Furthermore, α weights in this scenario converge towards correlating with structural similarities of languages. さらに、このシナリオのα重みは言語の構造的類似性に関連して収束する。 0.80
This is in line with recent work which has found that m-BERT uses fine-grained syntactic distinctions in its crosslingual representation space (Chi et al., 2020). これは、m-BERTがその交叉表現空間(Chi et al., 2020)において微細な構文的区別を使用するという最近の研究と一致している。 0.58
We interpret this as evidence for the fact that typology can be a necessity for modelling in NLP. これは、NLPのモデリングにタイポロジーが不可欠であるという事実の証拠として解釈される。 0.60
Our results furthermore corroborate previous work in that we only find moderate benefits from including typological information explicitly. さらに,本研究の成果は,類型的情報を明確に含めることで,適切なメリットしか得られないという点において,過去の成果と相関するものである。
訳抜け防止モード: 我々の結果は、さらに以前の研究を裏付ける。 タイポロジー情報を明示的に含めることで 適度な利益しか得られません
0.45
We expect that this to a large degree is due to the typological similarities of languages being encoded implicitly based on correlations between patterns in the input data. これは入力データのパターン間の相関に基づいて暗黙的に符号化される言語の類型的類似性に起因すると期待されている。 0.84
As low-resource languages often do not even have access to any substantial amount of raw text, but often do have annotations in WALS, we expect that using typological information can go some way towards building truly language-universal models. 低リソース言語は、かなりの量の原文にアクセスできないことが多いが、WALSにアノテーションがある場合が多いため、類型的情報を利用することで、真の言語ユニバーサルモデルを構築するための何らかの方法が期待できる。
訳抜け防止モード: リソースの少ない言語は、かなりの量の原文にアクセスできないことが多い。 WALSにはアノテーションがありますが 類型的情報を使用することで、真の言語 - 普遍的なモデルを構築することができる。
0.74
5 Conclusions We have shown that preventing access to typology can impede the performance of cross-lingual sharing models. 5 結論 タイポロジーへのアクセスを防止することは,言語間共有モデルの性能を阻害することを示してきた。 0.62
Investigating latent weights governing the sharing between languages shows that this prevents the model from sharing between typologically similar languages, which is otherwise learned based on patterns in the input. 言語間の共有を規定する潜在重みを調べることは、モデルが入力のパターンに基づいて学習されるタイプ的類似言語間での共有を妨げていることを示している。 0.73
We therefore expect that using typological information can be of particular interest for building truly language-universal models for low-resource languages. そこで我々は,低リソース言語のための真の言語ユニバーサルモデルを構築する上で,タイポロジー情報の利用が特に関心を持つと期待している。 0.53
Acknowledgements This research has received funding from the Swedish Research Council (grant No 2019-04129), and the NVIDIA Corporation (Titan Xp GPU). この研究は、スウェーデン研究評議会(Grant No 2019-04129)とNVIDIA Corporation(Titan Xp GPU)から資金を得ています。 0.76
英語(論文から抽出)日本語訳スコア
References Waleed Ammar, George Mulcaire, Miguel Ballesteros, Chris Dyer, and Noah A Smith. 参照: Waleed Ammar、George Mulcaire、Miguel Ballesteros、Chris Dyer、Noah A Smith。 0.71
2016. Many languages, one parser. 2016. 多くの言語、1つのパーサー。 0.73
Transactions of the Association for Computational Linguistics, 4:431–444. 計算言語協会の取引、4:431–444。 0.72
Isabelle Augenstein, Leon Derczynski, and Kalina Bontcheva. Isabelle Augenstein、Leon Derczynski、Kalina Bontcheva。 0.68
2017. Generalisation in named entity recognition: A quantitative analysis. 2017. 名前付き実体認識における一般化 : 定量的解析 0.81
Computer Speech & Language, 44:61–83. Computer Speech & Language, 44:61–83。 0.74
Johannes Bjerva and Isabelle Augenstein. ヨハンネス・ビエルヴァとイザベル・アウゲンシュタイン。 0.40
2018a. From phonology to syntax: Unsupervised linguistic typology at different levels with language embeddings. 2018年。 音韻学から構文への:言語埋め込みによる異なるレベルでの教師なし言語タイポロジー。 0.63
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 907–916, New Orleans, Louisiana. 2018年アメリカ計算言語協会(Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), Page 907–916, New Orleans, Louisiana)は、アメリカ合衆国ルイジアナ州出身の言語学者。 0.83
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Johannes Bjerva and Isabelle Augenstein. ヨハンネス・ビエルヴァとイザベル・アウゲンシュタイン。 0.40
2018b. Tracking Typological Traits of Uralic Languages in Distributed Language Representations. 2018年。 分散言語表現におけるウラル言語のタイポロジー的特徴の追跡 0.62
In Proceedings of the Fourth International Workshop on Computational Linguistics of Uralic Languages, pages 76–86, Helsinki, Finland. フィンランドのヘルシンキ、76-86ページ、第4回ウルリック語の計算言語に関する国際ワークショップの開催。 0.71
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Johannes Bjerva, Yova Kementchedjhieva, Ryan Cotterell, and Isabelle Augenstein. Johannes Bjerva、Yova Kementchedjhieva、Ryan Cotterell、Isabelle Augenstein。 0.66
2019a. A probabilistic generative model of linguistic typology. 2019年。 言語型学の確率論的生成モデル 0.75
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1529–1540, Minneapolis, Minnesota. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 1529–1540, Minneapolis, Minnesota 0.77
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Johannes Bjerva, Yova Kementchedjhieva, Ryan Cotterell, and Isabelle Augenstein. Johannes Bjerva、Yova Kementchedjhieva、Ryan Cotterell、Isabelle Augenstein。 0.66
2019b. Uncovering probabilistic implications in typological knowledge In Proceedings of the 57th Annual Meetbases. 2019年。 第57回年次大会におけるタイポロジー知識の確率的意義を明らかにする 0.62
ing of the Association for Computational Linguistics, pages 3924–3930, Florence, Italy. The Association for Computational Linguistics, page 3924–3930, Florence, Italy. (英語) 0.90
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Johannes Bjerva, Elizabeth Salesky, Sabrina J. Mielke, Aditi Chaudhary, Celano Giuseppe, Edoardo Maria Ponti, Ekaterina Vylomova, Ryan Cotterell, and Isabelle Augenstein. Johannes Bjerva、Elizabeth Salesky、Sabrina J. Mielke、Aditi Chaudhary、Celano Giuseppe、Edoardo Maria Ponti、Ekaterina Vylomova、Ryan Cotterell、Isabelle Augenstein。 0.72
2020. SIGTYP 2020 shared task: In Proceedings Prediction of typological features. 2020. sigtyp 2020 shared task: in proceedings prediction of typological features (英語) 0.81
of the Second Workshop on Computational Research in Linguistic Typology, pages 1–11, Online. The Second Workshop on Computational Research in Linguistic Typology, page 1–11, Online. 0.89
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Johannes Bjerva, Robert Johannes Bjerva, Robert 0.85
¨Ostling, Maria Han Veiga, J¨org Tiedemann, and Isabelle Augenstein. オストリング、マリア・ハン・ヴェイガ、J・ティエデマン、イザベル・オーゲンシュタイン。 0.40
2019c. What Do Language Representations Really Represent? 2019年。 言語表現は本当に何を表すのか? 0.63
Computational Linguistics, 45(2):381–389. 計算言語学 45(2):381–389。 0.74
Rich Caruana. 1997. 豊かなカルーアナ 1997. 0.64
Multitask learning. Machine マルチタスク学習。 機械 0.74
Learning, 28 (1):41–75. 学習:28 (1):41–75。 0.72
Steven Chen, Nicholas Carlini, and David Wagner. Steven Chen、Nicholas Carlini、David Wagner。 0.71
2019. Stateful detection of black-box adversarial attacks. 2019. ブラックボックスの敵対攻撃のステートフルな検出。 0.75
arXiv preprint arXiv:1907.05587. arXiv preprint arXiv:1907.05587 0.71
Ethan A Chi, John Hewitt, and Christopher D Manning. Ethan A Chi、John Hewitt、Christopher D Manning。 0.71
2020. Finding universal grammatical relations in multilingual bert. 2020. 多言語ベルトにおける普遍文法関係の発見 0.71
arXiv preprint arXiv:2005.04511. arXiv preprint arXiv:2005.04511。 0.64
Rochelle Choenni and Ekaterina Shutova. Rochelle ChoenniとEkaterina Shutova。 0.82
2020. What does it mean to be language-agnostic? 2020. 言語に依存しないということは何ですか? 0.64
probing multilingual sentence encoders for typological properties. タイポロジー特性の多言語文エンコーダの探索 0.68
CoRR, abs/2009.12862. CoRR, abs/2009.12862。 0.59
Hal Daum´e III and Lyle Campbell. ハル・ダウム3世とライル・キャンベル。 0.38
2007. A Bayesian Model for Discovering Typological Implications. 2007. タイポロジー含意の発見のためのベイズモデル 0.74
In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pages 65–72, Prague, Czech Republic. 第45回計算言語協会年次総会の進行において、65-72ページ、チェコ共和国プラハ。 0.65
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova。 0.78
2019. BERT: Pre-training of deep bidirectional transformers for language underIn Proceedings of the 2019 Conference standing. 2019. BERT:言語のための深い双方向の変圧器の事前訓練2019年の会議の立場の進行中。 0.76
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4171–4186, Minneapolis, Minnesota. 0.85
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Matthew S. Dryer and Martin Haspelmath, editors. Matthew S. DryerとMartin Haspelmath、編集者。 0.90
2013. WALS Online. 2013. WALSオンライン。 0.85
Max Planck Institute for Evolutionary Anthropology, Leipzig. Max Planck Institute for Evolutionary Anthropology, Leipzig (英語) 0.88
Yaroslav Ganin and Victor Lempitsky. Yaroslav GaninとVictor Lempitsky。 0.79
2014. Unsupervised domain adaptation by backpropagation. 2014. バックプロパゲーションによる教師なしドメイン適応 0.69
arXiv preprint arXiv:1409.7495. arXiv preprint arXiv:1409.7495 0.71
Daniela Gerz, Ivan Vuli´c, Edoardo Maria Ponti, Roi Reichart, and Anna Korhonen. Daniela Gerz、Ivan Vuli ́c、Edoardo Maria Ponti、Roi Reichart、Anna Korhonen。 0.77
2018. On the relation between linguistic typology and (limitations of) multilingual language modeling. 2018. 言語型学と多言語言語モデリング(リミテーション)の関係について 0.77
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 316–327, Brussels, Belgium. 自然言語処理における経験的手法に関する2018年会議の議題316-327ページ、ブリュッセル、ベルギー。 0.76
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Ian J Goodfellow、Jonathon Shlens、Christian Szegedy。 0.70
2014. Explaining and harnessing adversarial examples. 2014. 逆例の解説と活用。 0.72
arXiv preprint arXiv:1412.6572. arXiv preprint arXiv:1412.6572 0.72
Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, and Melvin Johnson. Junjie Hu, Sebastian Ruder, Aditya Siddhant, Graham Neubig, Orhan Firat, Melvin Johnson 0.70
2020. Xtreme: A massively multilingual multi-task benchmark for evaluating cross-lingual generalization. 2020. Xtreme: 言語間一般化を評価するための多言語マルチタスクベンチマーク。 0.77
arXiv preprint arXiv:2003.11080. arXiv preprint arXiv:2003.11080 0.72
Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. Pratik Joshi、Sebastin Santy、Amar Budhiraja、Kalika Bali、Monojit Choudhury。 0.64
2020. The state and fate of linguistic diversity and inclusion in the nlp world. 2020. nlpの世界における言語の多様性と包含の状態と運命。 0.81
arXiv preprint arXiv:2004.09095. arXiv preprint arXiv:2004.09095 0.72
Miryam de Lhoneux, Johannes Bjerva, Isabelle Augenstein, and Anders Søgaard. Miryam de Lhoneux、Johannes Bjerva、Isabelle Augenstein、Anders Søgaard。 0.67
2018. Parameter sharing between dependency parsers for related languages. 2018. 関連言語の依存性パーサ間のパラメータ共有。 0.84
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4992–4997. 2018年の自然言語処理の実証的方法に関する会議の進行で、ページ4992-4997。 0.73
英語(論文から抽出)日本語訳スコア
Huan Zhang, Hongge Chen, Zhao Song, Duane Boning, Inderjit S Dhillon, and Cho-Jui Hsieh. Huan Zhang, Hongge Chen, Zhao Song, Duane Boning, Inderjit S Dhillon, Cho-Jui Hsieh 0.74
2019. The limitations of adversarial training and the blind-spot attack. 2019. 敵対的な訓練と盲点攻撃の制限。 0.76
arXiv preprint arXiv:1901.04684. arXiv preprint arXiv:1901.04684 0.71
Wei Zhao, Steffen Eger, Johannes Bjerva, and IsInducing LanguagearXiv Wei Zhao, Steffen Eger, Johannes Bjerva, and Isinducing LanguagearXiv 0.83
abelle Augenstein. Abelle Augenstein 0.58
2020. Agnostic Multilingual Representations. 2020. Agnostic Multilingual Representations (英語) 0.77
preprint arXiv:2008.09112. arXiv:2008.09112 0.62
Chaitanya Malaviya, Graham Neubig, and Patrick Littell. Chaitanya Malaviya、Graham Neubig、Patrick Littell。 0.63
2017. Learning language representations for In Proceedings of the 2017 typology prediction. 2017. In Proceedings of the 2017 typology Predictionのための言語表現の学習。 0.86
Conference on Empirical Methods in Natural Language Processing, pages 2529–2535, Copenhagen, Denmark. 自然言語処理における経験的手法に関する会議,2529-2535ページ,デンマーク,コペンハーゲン 0.69
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Yugo Murawaki. 2017. 村脇雄吾。 2017. 0.64
Diachrony-aware induction of binary latent representations from typological feaIn Proceedings of the Eighth International tures. Diachrony-aware induction of binary latent representations from typological feaIn Proceedings of the eightth International tures. (第8回国際講演会) 0.62
Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 451–461, Taipei, Taiwan. 自然言語処理に関する合同会議(Volume 1: Long Papers)、ページ451-461、台北、台湾。 0.82
Asian Federation of Natural Language Processing. アジア自然言語処理連盟(Asia Federation of Natural Language Processing)の略称。 0.43
Farhad Nooralahzadeh, Giannis Bekoulis, Johannes Bjerva, and Isabelle Augenstein. Farhad Nooralahzadeh、Giannis Bekoulis、Johannes Bjerva、Isabelle Augenstein。 0.58
2020. Zero-Shot Cross-Lingual Transfer with Meta Learning. 2020. メタ学習によるゼロショット言語間移動 0.70
In Proceedings of EMNLP. In Proceedings of EMNLP 0.60
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Helen O’Horan, Yevgeni Berzak, Ivan Vuli´c, Roi Reichart, and Anna Korhonen. Helen O’Horan、Yevgeni Berzak、Ivan Vuli ́c、Roi Reichart、Anna Korhonen。 0.77
2016. Survey on the use of typological information in natural language processing. 2016. 自然言語処理における類型情報の利用に関する調査 0.81
arXiv preprint arXiv:1610.03349. arXiv preprint arXiv:1610.03349。 0.63
Arturo Oncevay, Barry Haddow, and Alexandra Birch. Arturo Oncevay、Barry Haddow、Alexandra Birch。 0.67
2020. Bridging linguistic typology and multilingual machine translation with multi-view language repIn Proceedings of EMNLP. 2020. マルチビュー言語リピートによる言語タイポロジーと多言語機械翻訳のブリッジEMNLPのProceedings。 0.81
Associaresentations. tion for Computational Linguistics. アソシエーション。 計算言語学の専門用語。 0.48
ArXiv preprint arXiv:2004.14923. ArXiv preprint arXiv:2004.14923 0.70
Robert ¨Ostling and J¨org Tiedemann. ロバート・ショストリングとj・ジョルグ・ティートマン。 0.61
2017. Continuous In Proceedmultilinguali ty with language vectors. 2017. 言語ベクトルによる連続的なProceedMultilinguali ty。 0.84
ings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pages 644–649, Valencia, Spain. ings of the 15th conference of the european chapter of the association for computational linguistics: volume 2, short papers, pages 644–649, valencia, spain (英語) 0.86
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Edoardo Maria Ponti, Helen O’horan, Yevgeni Berzak, Ivan Vuli´c, Roi Reichart, Thierry Poibeau, Ekaterina Shutova, and Anna Korhonen. Edardo Maria Ponti、Helen O’horan、Yevgeni Berzak、Ivan Vuli ́c、Roi Reichart、Thierry Poibeau、Ekaterina Shutova、Anna Korhonen。 0.73
2019. Modeling language variation and universals: A survey on typological linguistics for natural language processing. 2019. 言語変異と普遍性のモデル化 : 自然言語処理のための類型論的言語学に関する調査 0.80
Computational Linguistics, 45(3):559–601. 計算言語学、45(3):559–601。 0.68
Sebastian Ruder, Joachim Bingel, Isabelle Augenstein, and Anders Søgaard. Sebastian Ruder、Joachim Bingel、Isabelle Augenstein、Anders Søgaard。 0.67
2019. Latent multi-task archiIn Proceedings of the AAAI Contecture learning. 2019. Latent multi-task archiAAAI Contecture Learningの進歩。 0.78
ference on Artificial Intelligence, volume 33, pages 4822–4829. 人工知能を参照, Volume 33, page 4822–4829。 0.75
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Sukasz Kaiser、Illia Polosukhin。 0.63
2017. Attention is all In Advances in neural information proyou need. 2017. 注意はすべて、必要なニューラルネットワークの進歩にある。 0.74
cessing systems, pages 5998–6008. セッシングシステム、5998-6008ページ。 0.69
al. 2020. Daniel Zeman, Joakim Nivre, and Mitchell Abrams Universal dependencies 2.6. et the LINDAT/CLARIAH-CZ digital Institute of Formal and Applied Linguistics ( ´UFAL), Faculty of Mathematics and Physics, Charles University. アル 2020. Daniel Zeman, Joakim Nivre, and Mitchell Abrams Universal dependencies 2.6. et et the LINDAT/CLARIAH-CZ digital Institute of Formal and Applied Linguistics ( ́UFAL) - チャールズ大学数学物理学科。 0.71
library at 図書館 0.74
               ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。