論文の概要、ライセンス

# (参考訳) PPT: 教師なしクロス言語適応のためのパーシモン型パーサー転送 [全文訳有]

PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation ( http://arxiv.org/abs/2101.11216v1 )

ライセンス: CC BY 4.0
Kemal Kurniawan, Lea Frermann, Philip Schulz, Trevor Cohn(参考訳) クロスリンガル転送は、明示的な監督なしに低リソース言語を解析するための主要な技術です。 多言語入力エンコーディングに基づく学習モデルの単純な「直接転送」は、強力なベンチマークを提供する。 本稿では,教師なし言語を対象言語で自己学習する上で,その出力を暗黙的監督として用いることにより,直接伝達システムを改善する教師なし言語間伝達法を提案する。 a) 事前学習されたarc-factored dependency parser; (b) ソース言語データにアクセスできないと仮定する; (c) 投影解析と非投影解析の両方をサポートする; (d) マルチソース転送をサポートする。 英語をソース言語とすることで、概念的に単純なアプローチにも関わらず、遠方と近方の両方の言語で最先端のトランスファーモデルを大幅に改善しています。 マルチソース転送のためのソース言語の選択と、非射影解析の利点の分析を提供します。 コードはオンラインで入手できます。

Cross-lingual transfer is a leading technique for parsing low-resource languages in the absence of explicit supervision. Simple `direct transfer' of a learned model based on a multilingual input encoding has provided a strong benchmark. This paper presents a method for unsupervised cross-lingual transfer that improves over direct transfer systems by using their output as implicit supervision as part of self-training on unlabelled text in the target language. The method assumes minimal resources and provides maximal flexibility by (a) accepting any pre-trained arc-factored dependency parser; (b) assuming no access to source language data; (c) supporting both projective and non-projective parsing; and (d) supporting multi-source transfer. With English as the source language, we show significant improvements over state-of-the-art transfer models on both distant and nearby languages, despite our conceptually simpler approach. We provide analyses of the choice of source languages for multi-source transfer, and the advantage of non-projective parsing. Our code is available online.
公開日: Wed, 27 Jan 2021 05:52:26 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
PPT: Parsimonious Parser Transfer PPT:Parsimonious Parser Transfer 0.82
for Unsupervised Cross-Lingual Adaptation 教師なしクロス言語適応について 0.33
Kemal Kurniawan1 Lea Frermann1 Philip Schulz2∗ Trevor Cohn1 1School of Computing and Information Systems, University of Melbourne Kemal Kurniawan1 Lea Frermann1 Philip Schulz2* Trevor Cohn1 1School of Computing and Information Systems, メルボルン大学 0.90
2Amazon Research 2Amazon Research 0.88
kemal.kurniawan@stud ent.unimelb.edu.au kemal.kurniawan@stud ent.unimelb.edu.au 0.39
lea.frermann@unimelb .edu.au lea.frermann@unimelb .edu.au 0.47
phschulz@amazon.com tcohn@unimelb.edu.au phschulz@amazon.com tcohn@unimelb.edu.au 0.63
1 2 0 2 n a J 1 2 0 2 n a J 0.85
7 2 ] L C . 7 2 ] L C。 0.78
s c [ 1 v 6 1 2 1 1 sc [ 1 v 6 1 2 1 1 0.68
. 1 0 1 2 : v i X r a . 1 0 1 2 : v i X r a 0.85
Abstract Cross-lingual transfer is a leading technique for parsing low-resource languages in the absence of explicit supervision. 概要 クロスリンガル転送は、明示的な監督なしに低リソース言語を解析するための主要な技術です。 0.51
Simple ‘direct transfer’ of a learned model based on a multilingual input encoding has provided a strong benchmark. 多言語入力エンコーディングに基づく学習モデルの単純な「直接転送」は、強力なベンチマークを提供する。 0.83
This paper presents a method for unsupervised cross-lingual transfer that improves over direct transfer systems by using their output as implicit supervision as part of self-training on unlabelled text in the target language. 本稿では,教師なし言語を対象言語で自己学習する上で,その出力を暗黙的監督として用いることにより,直接伝達システムを改善する教師なし言語間伝達法を提案する。 0.60
The method assumes minimal resources and provides maximal flexibility by (a) accepting any pre-trained arc-factored dependency parser; (b) assuming no access to source language data; (c) supporting both projective and non-projective parsing; and (d) supporting multi-source transfer. a) 事前学習されたarc-factored dependency parser; (b) ソース言語データにアクセスできないと仮定する; (c) 投影解析と非投影解析の両方をサポートする; (d) マルチソース転送をサポートする。 0.68
With English as the source language, we show significant improvements over state-of-the-art transfer models on both distant and nearby languages, despite our conceptually simpler approach. 英語をソース言語とすることで、概念的に単純なアプローチにも関わらず、遠方と近方の両方の言語で最先端のトランスファーモデルを大幅に改善しています。 0.60
We provide analyses of the choice of source languages for multi-source transfer, and the advantage of non-projective parsing. マルチソース転送のためのソース言語の選択と、非射影解析の利点の分析を提供します。 0.81
Our code is available online.1 コードはオンラインで入手できます。 0.47
1 Introduction Recent progress in natural language processing (NLP) has been largely driven by increasing amounts and size of labelled datasets. 1 はじめに 自然言語処理(NLP)の最近の進歩は、ラベル付きデータセットの量とサイズの増加に大きく寄与している。 0.71
The majority of the world’s languages, however, are lowresource, with little to no labelled data available (Joshi et al., 2020). しかし、世界の言語の大部分は低リソースであり、ラベル付きデータはほとんど提供されていない(Joshi et al., 2020)。 0.77
Predicting linguistic labels, such as syntactic dependencies, underlies many downstream NLP applications, and the most effective systems rely on labelled data. 構文依存などの言語ラベルの予測は、多くの下流のNLPアプリケーションの基礎となり、最も効果的なシステムはラベル付きデータに依存する。 0.66
Their lack hinders the access to NLP technology in many languages. それらの不足は多くの言語でNLP技術へのアクセスを妨げる。 0.72
One solution is cross-lingual model 一つの解決策は言語横断モデルです 0.51
∗Work done outside Amazon. Amazonの外での作業。 0.63
1https://github.com/ kmkurn/ 1https://github.com/ kmkurn/ 0.39
ppt-eacl2021 ppt-eacl2021 0.47
Figure 1: Illustration of our technique. 図1:私たちの技術のイラストレーション。 0.85
For a target language sentence (xi), a source parser Pθ0 predicts a set of candidate arcs ˜A(xi) (subset shown in the figure), and parses ˜Y (xi). 対象言語文(xi)に対して、ソース解析器(pθ0)は、候補アーク(xi)の集合を予測し(図に示す部分集合)、y(xi)を解析する。 0.74
The highest scoring parse is shown on the bottom (green), and the true gold parse (unknown to the parser) on top (red). 最高スコアのパースが下部(緑)に表示され、真のゴールドパース(パーサーに知られていない)が上部(赤)に表示されます。 0.50
A target language parser Pθ is then fine-tuned on a data set of ambiguously labelled sentences {xi, ˜Y (xi)}. ターゲット言語パーサPは、曖昧なラベル付き文{xi, yY(xi)}のデータセット上で微調整される。 0.69
transfer, which adapts models trained on highresource languages to low-resource ones. Transferは、高ソース言語でトレーニングされたモデルを低リソース言語に適応させる。 0.56
This paper presents a flexible framework for cross-lingual transfer of syntactic dependency parsers which can leverage any pre-trained arc-factored dependency parser, and assumes no access to labelled target language data. 本稿では,学習済みのArc-factoredDepended Parserを利用でき,ラベル付き言語データへのアクセスを前提としない構文依存パーサの言語間移動のためのフレキシブルなフレームワークを提案する。 0.68
One straightforward method of cross-lingual parsing is direct transfer. 言語交叉解析の簡単な方法の1つは直接伝達である。 0.57
It works by training a parser on the source language labelled data and subsequently using it to parse the target language directly. データをラベル付けしたソース言語上でパーサをトレーニングし、その後、ターゲット言語を直接解析するために使用する。 0.78
Direct transfer is attractive as it does not require labelled target language data, rendering the approach fully unsupervised.2 Recent work has shown that it is possible to outperform direct transfer if unlabelled data, either in the target lan- 直接転送は、ラベル付きターゲット言語データを必要としないため魅力的であり、完全に教師なしのアプローチとなっている。2 最近の研究では、ラベルなしデータの場合、ターゲットlanのいずれにおいても、直接転送を上回ることができることが示されている。
訳抜け防止モード: ラベル付けされたターゲット言語データを必要としないので、直接転送は魅力的です。 アプローチを完全に教師なしにすること 2. 最近の研究によると 不正なデータがターゲットのlanにある場合、直接転送を上回ります
0.61
2Direct transfer is also called zero-shot transfer or model 2Direct転送はゼロショット転送またはモデルとも呼ばれる 0.70
transfer in the literature. xidenichheutegesehen habewhoItodayseenhav e˜A(xi)denhabe0.7objic hhabe0.1nsubjichgese hen0.5nsubjdengesehe n0.07objheutegesehen 0.2advmodgesehenhabe 0.02aux˜Y(xi)denichheutegese henhabewhoItodayseen havensubjadvmodobjau xobjadvmodnsubjaux{xi,˜Y(xi)}sθ0(x,h,m)Pθ0(yi|xi) 文学作品の転載。 A(xi)denhabe0.7objic hhabe0.1nsubjichgese hen0.5nsubjdengesehe n0.07objheutegesehen 0.2advmodgesehenhabe 0.02aux sY(xi)denichheuteges ehenhabeItodayseensu bjadvmodobjauxobjadv modnsubjaux{xi, s(x,h,m)P*0(yi|xi) 0.45
英語(論文から抽出)日本語訳スコア
guage or a different auxiliary language, is available (He et al., 2019; Meng et al., 2019; Ahmad et al., 2019b). ゲージまたは別の補助言語が利用可能である(He et al., 2019; Meng et al., 2019; Ahmad et al., 2019b)。 0.90
Here, we focus on the former setting and present flexible methods that can adapt a pre-trained parser given unlabelled target data. 本稿では,前者の設定に焦点をあて,事前学習された対象データに適応可能なフレキシブルな手法を提案する。 0.71
Despite their success in outperforming direct transfer by leveraging unlabelled data, current approaches have several drawbacks. 競合しないデータを活用することで直接転送を上回ることに成功したが、現在のアプローチにはいくつかの欠点がある。 0.38
First, they are limited to generative and projective parsers. まず、生成型および射影型パーサーに限定されます。 0.58
However, discriminative parsers have proven more effective, and non-projectivity is a prevalent phenomenon across the world’s languages (de Lhoneux, 2019). しかし、差別的パーサーはより効果的であることが証明されており、非射影性は世界の言語で広く見られる現象である(de Lhoneux, 2019)。 0.56
Second, prior methods are restricted to single-source transfer, however, transfer from multiple source languages has been shown to lead to superior results (McDonald et al., 2011; Duong et al., 2015a; Rahimi et al., 2019). 第2に、事前の方法は単一ソース転送に制限されているが、複数のソース言語からの転送が優れた結果をもたらすことが示されている(McDonald et al., 2011; Duong et al., 2015a; Rahimi et al., 2019)。 0.68
Third, they assume access to the source language data, which may not be possible because of privacy or legal reasons. 第三に、彼らはソース言語データへのアクセスを前提としており、プライバシーや法的理由から不可能かもしれない。 0.71
In such source-free transfer, only a pre-trained source parser may be provided. このようなソースフリー転送では、事前訓練されたソースパーサのみを提供することができる。 0.52
We address the three shortcomings with an alternative method for unsupervised target language adaptation (Section 2). この3つの欠点を,教師なしのターゲット言語適応のための代替手法で解決する(第2章)。 0.59
Our method uses high probability edge predictions of the source parser as a supervision signal in a self-training algorithm, thus enabling unsupervised training on the target language data. 本手法では, ソースパーサの確率エッジ予測を自己訓練アルゴリズムの監視信号として用い, 対象言語データに対する教師なしのトレーニングを可能にする。 0.80
The method is feasible for discriminative and non-projective parsing, as well as multi-source and source-free transfer. この方法は、識別および非投影解析、およびマルチソースおよびソースフリー転送が可能である。 0.68
Building on a framework introduced in T¨ackstr¨om et al. で導入されたフレームワークの上に構築します。 0.58
(2013), this paper for the first time demonstrates their effectiveness in the context of state-of-the-art neural dependency parsers, and their generalizability across parsing frameworks. (2013) 本稿は, 最先端のニューラル依存パーサの文脈におけるそれらの有効性, 解析フレームワーク間の一般化性を初めて示す。 0.80
Using English as the source language, we evaluate on eight distant and ten nearby languages (He et al., 2019). 英語をソース言語として使用し、8言語と10言語で評価する(He et al., 2019)。 0.71
The singlesource transfer variant (Section 2.1) outperforms previous methods by up to 11 % UAS, averaged over nearby languages. 単一ソース転送変種(Section 2.1)は、近隣言語で平均されるUASを最大11%上回っている。 0.77
Extending the approach to multi-source transfer (Section 2.2) gives further gains of 2 % UAS and closes the performance gap against the state of the art on distant languages. マルチソース転送(Section 2.2)へのアプローチの拡張は、UASのさらなる利益をもたらし、遠くの言語における技術の現状に対するパフォーマンスギャップを埋める。 0.72
In short, our contributions are: 要するに 私たちの貢献は 0.57
1. A conceptually simple and highly flexible framework for unsupervised target language adaptation, which supports multi-source and source-free transfer, and can be employed with any pre-trained state-of-the-art arcfactored parser(s); 1. マルチソースおよびソースフリーな転送をサポートし、事前トレーニングされたarcfactored parser(s);で使用可能な、教師なし言語適応のための概念上シンプルで柔軟性の高いフレームワーク。 0.75
2. Generalisation of the method of T¨ackstr¨om 2. T-シャクストロームの方法の一般化 0.75
et al. (2013) to state-of-the-art, non-projective dependency parsing with neural networks; など。 (2013) ニューラルネットワークによる最先端の非プロジェクティブ依存関係解析 0.55
3. Up to 13 % UAS improvement over state-ofthe-art models, considering nearby languages, and roughly equal performance over distant languages; and 3. 最先端モデルに対する最大13%のUAS改善、近隣言語への配慮、遠方言語に対するほぼ同等のパフォーマンス。 0.83
4. Analysis of the impact of choice of source 4. ソース選択の影響の解析 0.72
languages on multi-source transfer quality. マルチソース転送品質の言語。 0.83
2 Supervision via Transfer In our scenario of unsupervised cross-lingual parsing, we assume the availability of a pre-trained source parser, and unlabelled text in the target language. 2 転送による監督 教師なしのクロス言語解析のシナリオでは、事前に訓練されたソースパーサーとターゲット言語のラベルなしテキストが利用可能であると仮定します。 0.67
Thus, we aim to leverage this data such that our cross-lingual transfer parsing method out-performs direct transfer. したがって、このデータを利用して、クロスリンガル転送解析法が直接転送を上回ります。 0.60
One straightforward method is self-training where we use the predictions from the source parser as supervision to train the target parser. 簡単な方法の1つは、ソースパーサーからの予測を監督としてターゲットパーサーを訓練するセルフトレーニングです。 0.58
This method may yield decent performance as direct transfer is fairly good to begin with. この方法は、直接転送がかなり良いので、まともなパフォーマンスをもたらす可能性がある。 0.66
However, we may be able to do better if we also consider a set of parse trees that have high probability under the source parser (cf. しかし、ソースパーサ(cf.source parser)の下で高い確率を持つパースツリーのセットも考慮すれば、より良くできるかもしれません。 0.67
Fig. 1 for illustration). フィギュア。 1 例示用)。 0.51
If we assume that the source parser can produce a set of possible trees instead, then it is natural to use all of these trees as supervision signal for training. ソースパーサが可能な木の集合を生成できると仮定すると、これらの木をトレーニングの監督信号として使うのは自然である。
訳抜け防止モード: もしソースパーサが代わりに可能なツリーのセットを生成することができると仮定すれば、 自然です これらすべての木を 訓練の監視信号として使います
0.79
Inspired by T¨ackstr¨om et al. にインスパイアされた。 0.26
(2013), we formalise the method as follows. (2013) では, 以下の方法が定式化されている。 0.59
Given an unlabelled dataset {xi}n ラベルのないデータセットが与えられた 0.67
i=1, the training loss can be expressed as i=1、トレーニング損失を表わすことができる 0.84
n(cid:88) (cid:88) n(cid:88) (cid:88) 0.81
L(θ) = − 1 n L(θ) = − 1n 0.80
log i=1 y∈ ˜Y (xi) ログ i=1 y∈ (複数形 y∈s) 0.60
Pθ(y|xi) (1) Pθ(y|xi) (1) 0.79
where θ is the target parser parameters and ˜Y (xi) is the set of trees produced by the source parser. ここで θ はターゲットパーサパラメータであり、yY (xi) はソースパーサによって生成される木の集合である。 0.76
Note that ˜Y (xi) must be smaller than the set of all trees spanning x (denoted as Y(xi) ) because L(θ) = 0 otherwise. y (xi) は、l(θ) = 0 であるため、x にまたがるすべての木の集合(y(xi) と表記される)よりも小さくなければならない。 0.81
This training procedure is a form of self-training, and we expect that the target parser can learn the correct tree as it is likely to be included in ˜Y (xi). この学習手順は自己学習の一形態であり、対象のパーサは xiy (xi) に含まれる可能性が高いため、正しい木を学習できることを期待する。 0.67
Even if this is not the case, as long as the correct arcs occur quite frequently in ˜Y (xi), we expect the parser to learn a useful signal. 仮にそうでないとしても、正しい弧が .Y (xi) において非常に頻繁に発生する限り、パーサーが有用な信号を学ぶことを期待する。 0.66
We consider an arc-factored neural dependency parser where the score of a tree is defined as the sum of the scores of its arcs, and the arc scoring function is parameterised by a neural network. 本稿では,木面のスコアをその木面のスコアの和として定義し,その関数をニューラルネットワークでパラメータ化するアーク分解型ニューラル依存解析器について考察する。 0.74
The probability of a tree is then proportional to its score. 木の確率は、そのスコアに比例します。 0.58
英語(論文から抽出)日本語訳スコア
Formally, this formulation can be expressed as 正式には、この定式化は、 0.51
Pθ(y|x) = sθ(x, y) = Pθ(y|x) = sθ(x, y) = 0.90
where Z(x) = (cid:80) Z(x) = (cid:80) 0.78
exp sθ(x, y) exp sθ(x, y) 0.96
(cid:88) Z(x) (cid:88) Z(x) 0.82
(h,m)∈A(y) (h,m)∈A(y) 0.94
sθ(x, h, m) sθ(x, h, m) 0.94
(2) (3) y∈Y(x) exp sθ(x, y) is the partition function, A(y) is the set of head-modifier arcs in y, and sθ(x, y) and sθ(x, h, m) are the tree and arc scoring function respectively. (2) (3) y(y) exp sθ(x, y) は分割関数、A(y) は y の頭修飾弧の集合、sθ(x, y) と sθ(x, h, m) はそれぞれ木と弧のスコアリング関数である。 0.83
2.1 Single-Source Transfer Here, we consider the case where a single pretrained source parser is provided and describe how the set of trees is constructed. 2.1 単一ソース転送 ここでは、1つの事前学習されたソースパーサが提供された場合と、木の集合がどのように構築されているかを記述する。 0.59
Concretely, for every sentence x = w1, w2, . 具体的には、各文 x = w1, w2, に対して。 0.61
. . , wt in the target language data, using the source parser, the set of high probability trees ˜Y (x) is defined as the set of dependency trees that can be assembled from the high ˜A(x, m), where ˜A(x, m) is the set of high probability arcs whose dependent is wm. . . 対象言語データにおけるwt は、ソースパーサを用いて、高確率木の集合 sy (x) は、高確率木から組み立てられる従属木の集合として定義され、ここで sa(x, m) は、従属する高確率アークの集合である。 0.77
Thus, ˜Y (x) can be expressed formally as したがって、Y (x) は形式的に表すことができる。 0.69
probability arcs set ˜A(x) =(cid:83)t 確率弧集合 >A(x) =(cid:83)t 0.83
m=1 ˜Y (x) = {y|y ∈ Y(x) ∧ A(y) ⊆ ˜A(x)}. m=1 Y(x) = {y|y ∈ Y(x) {\displaystyle Y(x)\ A(y) \ \ A(x)} である。 0.64
(4) ˜A(x, m) is constructed by adding arcs (h, m) in order of decreasing arc marginal probability until their cumulative probability exceeds a threshold σ (T¨ackstr¨om et al., 2013). (4) a(x, m) は弧 (h, m) を加え、その累積確率がしきい値 σ を超えるまで弧辺確率を減少させる順序で構成する(t ジアックストール ジom et al., 2013)。 0.85
The predicted tree from the source parser is also included in ˜Y (x) so the chart is never empty. ソースパーサから予測されるツリーは、図が空にならないように、x) に含まれている。 0.70
This prediction is simply the highest scoring tree. この予測は単に最も高い評価木である。 0.76
This procedure is illustrated in Fig. この手順は図に示します。 0.74
1. Since Y(x) contains an exponential number of trees, efficient algorithms are required to compute the partition function Z(x), arc marginal probabilities, and the highest scoring tree. 1. Y(x) は指数数木を含んでいるため、分割関数 Z(x)、弧縁確率、最高得点木を計算するには効率的なアルゴリズムが必要である。 0.82
First, arc marginal probabilities can be computed efficiently with dynamic programming for projective trees (Paskin, 2001) and Matrix-Tree Theorem for the non-projective counterpart (Koo et al., 2007; McDonald and Satta, 2007; Smith and Smith, 2007). まず, 射影木に対する動的計画法 (paskin, 2001) と非射影木定理 (koo et al., 2007; mcdonald and satta, 2007; smith and smith, 2007) を用いて, アーク辺確率を効率的に計算することができる。 0.83
The same algorithms can also be employed to compute Z(x). 同じアルゴリズムを使ってz(x)を計算することもできる。 0.79
Next, the highest scoring tree can be obtained efficiently with Eisner’s algorithm (Eisner, 1996) or the maximum spanning tree algorithm (McDonald et al., 2005; Chu and Liu, 1965; Edmonds, 1967) for the projective and non-projective cases, respectively. 次に、アイズナーのアルゴリズム(Eisner, 1996)または最大スパンニングツリーアルゴリズム(McDonald et al., 2005; Chu and Liu, 1965; Edmonds, 1967)を用いて、射影的および非射影的ケースに対して高いスコアリングツリーを効率的に得ることができる。 0.80
The transfer is performed by initialising the target parser with the source parser’s parameters and 転送は、ターゲットパーサをソースパーサのパラメータで初期化し、実行されます。 0.69
then fine-tuning it with the training loss in Eq. そして、Eqのトレーニング損失で微調整する。 0.68
(1) on the target language data. 1)対象言語データについて。 0.58
Following previous works (Duong et al., 2015b; He et al., 2019), we also regularise the parameters towards the initial parameters to prevent them from deviating too much since the source parser is already good to begin with. 以前の作品(Duong et al., 2015b; He et al., 2019)に続いて、ソースパーサーがすでに良いので、初期パラメータに対するパラメータを規則化して、ソースパーサがあまりにずれないようにします。 0.70
Thus, the final fine-tuning loss becomes こうして、最終的な微調整損失は 0.63
(cid:48) L (θ) = L(θ) + λ||θ − θ0||2 (cid:48)L (θ) = L(θ) + λ||θ − θ0||2 0.79
2 (5) where θ0 is the initial parameters and λ is a hyperparameter regulating the strength of the L2 regularisation. 2 (5) θ0 は初期パラメータであり、λ は L2 正規化の強さを調節する超パラメータである。 0.83
This single-source transfer strategy was introduced as ambiguity-aware self-training by T¨ackstr¨om et al. この単一ソース転送戦略は、T・ザックストル・シャオムらによって曖昧な自己訓練として導入された。 0.41
(2013). A difference here is that we regularise the target parser’s parameters against the source parser’s as the initialiser, and apply the technique to modern lexicalised state-ofthe-art parsers. (2013). ここでの違いは、ターゲットパーサのパラメータをソースパーサのイニシャライザに対して正規化し、現代的な辞書化された最先端のパーサに適用することです。 0.73
We refer to this transfer strategy as PPT hereinafter. 以下、この転送戦略をPPTと呼ぶ。 0.62
Note that the whole procedure of PPT can be performed even when the source parser is trained with monolingual embeddings. ソースパーサをモノリンガル埋め込みでトレーニングしても、PTの手順全体が実行可能であることに注意。 0.62
Specifically, given a source parser trained only on monolingual embeddings, one can align pre-trained target language word embeddings to the source embedding space using an offline cross-lingual alignment method (e.g., of Smith et al. 具体的には、単言語組込みのみを訓練したソースパーサを与えられた場合、オフラインのクロスリンガルアライメントメソッド(例えばsmithなど)を使用して、事前訓練されたターゲット言語単語組込みをソース組込み空間にアライメントすることができる。 0.71
(2017)), and use the aligned target embeddings with the source model to compute ˜Y (x). (2017))、ソースモデルにアライメントされたターゲット埋め込みを使用して、*Y(x)を計算します。
訳抜け防止モード: (2017年)、およびソースモデルでアライメントされたターゲット埋め込みを使用する y (x ) を計算する。
0.78
Thus, our method can be used with any pre-trained monolingual neural parser. そこで本手法は,事前学習したモノリンガルニューラルパーサで使用することができる。 0.68
˜A(x, m) = (cid:83) A(x, m) = (cid:83) 0.89
2.2 Multi-Source Transfer We now consider the case where multiple pretrained source parsers are available. 2.2 マルチソース転送 複数のプリトレーニングされたソースパーサが利用できるケースを検討します。 0.63
To extend PPT to this multi-source case, we employ the ensemble training method from T¨ackstr¨om et al. PPTをマルチソースのケースに拡張するために、T sackstr .om et al のアンサンブルトレーニング手法を用いる。 0.61
(2013), which we now summarise. 2013年(平成14年)、現在まとめる。 0.44
We define ˜Ak(x, m) where ˜Ak(x, m) is the set of high probability arcs obtained with the k-th source parser. k 番目のソースパーサで得られる高確率弧の集合であるような ak(x, m) を定義する。 0.63
The rest of the procedure is exactly the same as PPT. 残りの手順はpptと全く同じである。 0.54
Note that we need to select one source parser as the main source to initialise the target parser’s parameters with. ターゲットパーサのパラメータを初期化する主要なソースとして、1つのソースパーサを選択する必要があることに注意してください。 0.64
Henceforth, we refer to this method as PPTX. したがって、この方法をPPTXと呼んでいます。 0.68
k Multiple source parsers may help transfer better because each parser will encode different syntactic biases from the languages they are trained on. k 複数のソースパーサは、トレーニング対象の言語と異なる構文バイアスをエンコードするので、転送に役立ちます。 0.74
Thus, it is more likely for one of those biases to match that of the target language instead of using just a single source parser. したがって、これらのバイアスの1つが、単一のソースパーサーを使用するのではなく、ターゲット言語のバイアスと一致する可能性が高い。 0.62
However, multi-source transfer may also hurt performance if the languages have very しかし、マルチソース転送は、言語がとても大きい場合、パフォーマンスを損なう可能性がある。 0.58
英語(論文から抽出)日本語訳スコア
different syntax, or the source parsers are of poor quality, which can arise from poor quality crosslingual word embeddings. 異なる構文、またはソースパーサは品質が悪く、品質の悪い言語間埋め込みから生じる可能性がある。 0.71
3 Experiments 3.1 Setup We run our experiments on Universal Dependency Treebanks v2.2 (Nivre et al., 2018). 実験3 3.1 セットアップ 私たちはUniversal Dependency Treebanks v2.2(Nivre et al., 2018)で実験を行います。 0.75
We reimplement the self-attention graph-based parser of Ahmad et al. ahmad et al のセルフアテンショングラフベースのパーサーを再実装した。 0.59
(2019a) that has been used with success for cross-lingual dependency parsing. (2019a) は言語間依存関係解析で成功している。 0.65
Averaged over 5 runs, our reimplementation achieves 88.8 % unlabelled attachment score (UAS) on English Web Treebank using the same hyperparameters,3 slightly below their reported 90.3 % result.4 We select the run with the highest labelled attachment score (LAS) as the source parser. 平均5回の実行で、我々の再実装は、同じハイパーパラメーターを用いて、英語Web Treebank上で88.8%の非ラベレートアタッチメントスコア(UAS)を達成し、報告された90.3%の結果よりわずかに下がった。4 ソースパーサーとしてラベル付きアタッチメントスコア(LAS)が最も高いランを選択する。 0.55
We obtain cross-lingual word embeddings with the offline transformation of Smith et al. 我々は、Smith et al のオフライン変換を伴う言語間単語埋め込みを得る。 0.72
(2017) applied to fastText pre-trained word vectors (Bojanowski et al., 2017). (2017) was applied to fastText pre-trained word vectors (Bojanowski et al., 2017)。 0.95
We include the universal POS tags as inputs by concatenating the embeddings with the word embeddings in the input layer. 埋め込みを入力層に埋め込む単語と結合することで、普遍的なPOSタグを入力として含みます。 0.71
We acknowledge that the inclusion of gold POS tags does not reflect a realistic low-resource setting where gold tags are not available, which we discuss more in Section 3.3. 我々は,金のPOSタグを含むことは,金のタグが利用できない現実的な低リソース設定を反映していないことを認めている。 0.63
We evaluate on 18 target languages that are divided into two groups, distant and nearby languages, based on their distance from English as defined by He et al. He et al によって定義される英語からの距離に基づいて、遠方言語と近隣言語の2つのグループに分割された18のターゲット言語を評価します。 0.76
(2019).5 During the unsupervised fine-tuning, we compute the training loss over all trees regardless of projectivity (i.e. (2019).5 教師なしの微調整では、射影性によらず、すべての木に対する訓練損失を計算する。 0.78
we use Matrix-Tree Theorem to compute Eq. Matrix-Tree Theoremを使用してEqを計算します。 0.62
(1)) and discard sentences longer than 30 tokens to avoid out-of-memory error. 1) メモリ外エラーを避けるため,30トークン以上の文を破棄する。 0.74
Following He et al. (2019), we fine-tune on the target language data for 5 epochs, tune the hyperparameters (learning rate and λ) on Arabic and Spanish using LAS, and use these values6 for the distant and nearby languages, respectively. 以下は彼らによる。 (2019) 対象言語データを5つのエポックで微調整し,lasを用いてアラビア語とスペイン語のハイパーパラメータ(学習率とλ)をチューニングし,これらの値6を遠方言語と近方言語にそれぞれ使用する。 0.58
We set the threshold σ = 0.95 for both PPT and PPTX following T¨ackstr¨om et al. PPT と PPTX の両方に対して σ = 0.95 のしきい値を設定しました。 0.81
(2013). We keep the rest of the hyperparameters (e.g., batch size) equal to those of Ahmad et al. (2013). ハイパーパラメータの残りの部分(例えばバッチサイズ)は、Ahmad et alのものと等しく保ちます。 0.75
(2019a). For PPTX, unless other- (2019年)。 PPTX の場合、他でない限り 0.68
3Reported in Table 4. 4UAS and LAS are reported excluding punctuation tokens. 3表4に報告。 4UASおよびLASは句読点のトークンを除いて報告されます。 0.63
5We exclude Japanese and Chinese based on Ahmad et al. 5 アフマド等に基づく日本語と中国語を除外した。 0.62
(2019a), who reported atypically low performance on these two languages, which they attributed to the low quality of their cross-lingual word embeddings. (2019a) はこれらの2言語で非典型的に低い性能を示したが、これは言語間単語埋め込みの低品質によるものであった。 0.69
In subsequent work they excluded these languages (Ahmad et al., 2019b). その後、これらの言語を除外した(ahmad et al., 2019b)。 0.68
6Reported in Table 5. wise stated, we consider a leave-one-out scenario where we use all languages except the target as the source language. 6表5に報告。 賢く述べたように、ターゲットをソース言語として以外のすべての言語を使用する場合、一括処理のシナリオを考えます。 0.72
We use the same hyperparameters as the English parser to train these non-English source parsers and set the English parser as the main source. 英語パーサと同じハイパーパラメータを使用して、これらの非英語ソースパーサをトレーニングし、英語パーサをメインソースに設定します。 0.62
3.2 Comparisons We compare PPT and PPTX against several recent unsupervised transfer systems. 3.2 比較 PPT と PPTX を比較します。 0.51
First, HE is a neural lexicalised DMV parser with normalising flow that uses a language modelling objective when fine-tuning on the unlabelled target language data (He et al., 2019). まず、HEは正規化フローを備えたニューラルネットワークの語彙化DMVパーサーであり、不一致のターゲット言語データを微調整する際に言語モデリング目標を使用する(He et al., 2019)。 0.66
Second, AHMAD is an adversarial training method that attempts to learn language-agnostic representations (Ahmad et al., 2019b). 第二に、AHMADは言語に依存しない表現(Ahmad et al., 2019b)を学習しようとする敵の訓練方法である。
訳抜け防止モード: 第2に、AHMADは敵の訓練方法である 言語(Ahmad et al ., 2019b)を学習しようとする試み。
0.73
Lastly, MENG is a constrained inference method that derives constraints from the target corpus statistics to aid inference (Meng et al., 2019). 最後に、MENGは、ターゲットコーパス統計から制約を導出し、推論を支援する制約付き推論手法である(Meng et al., 2019)。 0.60
We also compare against direct transfer (DT) and self-training (ST) as our baseline systems.7 私達はまた私達のベースライン システムとして直接移動(DT)および自己訓練(ST)と比較します。 0.65
3.3 Results Table 1 shows the main results. 3.3 結果表1は主な結果を示す。 0.83
We observe that fine-tuning via self-training already helps DT, and by incorporating multiple high probability trees with PPT, we can push the performance slightly higher on most languages, especially the nearby ones. 自己訓練による微調整はすでにDTに役立ち、複数の高確率木をPPTに組み込むことで、ほとんどの言語、特に近隣の言語でパフォーマンスをわずかに高めることができます。 0.74
Although not shown in the table, we also find the PPT has up to 6x lower standard deviation than ST, which makes PPT preferrable to ST. 表には示されていませんが、PSTはSTよりも最大6倍低い標準偏差を有するため、PTTはSTよりも好ましいです。 0.69
Thus, we exclude ST as a baseline from our subsequent experiments. したがって、次の実験からSTをベースラインとして除外する。 0.68
Our results seem to agree with that of T¨ackstr¨om et al. 私たちの結果は、Tのそれに同意しているようです。 0.52
(2013) and suggest that PPT can also be employed for neural parsers. (2013) と PPT が神経解析にも利用できることを示唆している。 0.80
Therefore, it should be considered for target language adaptation if unlabelled target data is available. したがって、未ラベルのターゲットデータが利用可能であれば、ターゲット言語適応のために考慮すべきである。 0.62
Comparing to HE (He et al., 2019), PPT performs worse on distant languages, but better on nearby languages. HE(He et al., 2019)と比較して、PPTは遠い言語では悪いが、近くの言語ではより良い。 0.75
This finding means that if the target language has a closely related high-resource language, it may be better to transfer from that language as the source and use PPT for adaptation. この発見は、ターゲット言語が密接に関連した高リソース言語を持っている場合、ソースとしてその言語から移行し、適応にPPTを使う方がよいことを意味している。 0.68
Against AHMAD (Ahmad et al., 2019b), PPT performs better on 4 out of 6 distant languages. AHMAD (Ahmad et al., 2019b) に対して、PPTは6言語中4言語でパフォーマンスが向上した。 0.71
On nearby languages, the average UAS of PPT is higher, and the average LAS is on par. 近隣の言語では、PPT の平均 UAS は高く、平均 LAS は同等である。
訳抜け防止モード: 近隣の言語について PPTの平均UASはより高いです。 そして平均LASは同等です。
0.77
This result shows that leveraging unlabelled data for cross-lingual parsing without access to the source data is feasible. この結果から,非ラベルデータを用いた言語交叉解析が実現可能であることが示された。 0.64
PPT also performs 7ST requires significantly less memory so we only discard sentences longer than 60 tokens. PPTも実行します 7stはメモリが大幅に少ないため、文を60トークン以上だけ破棄する。 0.68
Complete hyperparameter values are shown in Table 5. 完全なハイパーパラメータ値はテーブル5に示されます。 0.71
英語(論文から抽出)日本語訳スコア
Target fa ar† id ko tr hi hr he ターゲット ファ・アーシュ id ko tr hi hr he 0.56
average bg it pt fr es† no da sv nl de 平均 bg it pt fr es' no da sv nl de 0.83
average UAS LAS 平均 UAS LAS 0.83
DT 37.5 37.6 51.6 35.1 36.9 33.7 62.0 56.6 43.9 77.7 77.9 74.1 74.8 72.5 77.9 75.3 78.9 68.0 66.8 74.4 DT 37.5 37.6 51.6 35.1 36.9 33.7 62.0 56.6 43.9 77.7 77.9 74.1 74.8 72.5 77.9 75.3 78.9 68.0 66.8 74.4 0.42
ST 38.0 39.2 49.9 37.1 38.1 34.7 63.4 59.2 45.0 80.0 79.7 76.3 77.5 74.9 80.4 76.0 80.5 68.9 69.9 76.4 ST 38.0 39.2 49.9 37.1 38.1 34.7 63.4 59.2 45.0 80.0 79.7 76.3 77.5 74.9 80.4 76.0 80.5 68.9 69.9 76.4 0.42
PPT 39.5 39.5 50.3 37.5 39.2 34.0 63.8 60.5 45.5 81.2 81.4 77.1 78.6 75.2 81.2 77.3 82.1 69.9 69.5 77.4 PPT 39.5 39.5 50.3 37.5 39.2 34.0 63.8 60.5 45.5 81.2 81.4 77.1 78.6 75.2 81.2 77.3 82.1 69.9 69.5 77.4 0.42
PPTX 53.6 48.3 71.9 34.6 38.4 36.4 71.9 64.2 52.4 81.9 83.7 81.0 80.6 78.3 80.0 76.6 81.0 74.4 74.1 79.1 PPTX 53.6 48.3 71.9 34.6 38.4 36.4 71.9 64.2 52.4 81.9 83.7 81.0 80.6 78.3 80.0 76.6 81.0 74.4 74.1 79.1 0.42
HE 63.2 55.4 64.2 37.0 36.1 33.2 65.3 64.8 52.4 73.6 70.7 66.6 67.7 64.3 65.3 61.1 64.4 61.7 69.5 66.5 HE 63.2 55.4 64.2 37.0 36.1 33.2 65.3 64.8 52.4 73.6 70.7 66.6 67.7 64.3 65.3 61.1 64.4 61.7 69.5 66.5 0.42
AHMAD MENG AHMAD MENG 0.85
— 39.0 51.6 34.2 — 37.4 63.1 57.2 — 79.7 80.7 77.1 78.3 74.1 81.0 76.3 80.4 69.2 71.1 76.8 — 39.0 51.6 34.2 — 37.4 63.1 57.2 — 79.7 80.7 77.1 78.3 74.1 81.0 76.3 80.4 69.2 71.1 76.8 0.45
— 47.3 53.1 37.1 35.2 52.4 63.7 58.8 — 79.7 82.0 77.5 79.1 75.8 80.4 76.6 80.5 67.6 70.8 77.0 — 47.3 53.1 37.1 35.2 52.4 63.7 58.8 — 79.7 82.0 77.5 79.1 75.8 80.4 76.6 80.5 67.6 70.8 77.0 0.43
DT 29.2 27.3 45.2 16.6 18.5 25.4 51.9 47.6 32.7 66.2 71.1 65.1 68.1 63.8 69.1 66.3 71.1 59.5 56.4 65.7 DT 29.2 27.3 45.2 16.6 18.5 25.4 51.9 47.6 32.7 66.2 71.1 65.1 68.1 63.8 69.1 66.3 71.1 59.5 56.4 65.7 0.42
ST 30.5 30.0 44.4 18.2 19.5 26.6 54.2 50.5 34.2 68.9 74.0 67.6 71.7 66.5 71.9 67.4 72.7 60.7 60.0 68.1 ST 30.5 30.0 44.4 18.2 19.5 26.6 54.2 50.5 34.2 68.9 74.0 67.6 71.7 66.5 71.9 67.4 72.7 60.7 60.0 68.1 0.42
PPT 31.6 29.9 44.7 18.0 19.0 26.4 54.2 51.1 34.4 70.0 75.5 68.3 72.8 67.0 72.7 68.6 74.2 61.5 59.7 69.0 PPT 31.6 29.9 44.7 18.0 19.0 26.4 54.2 51.1 34.4 70.0 75.5 68.3 72.8 67.0 72.7 68.6 74.2 61.5 59.7 69.0 0.42
PPTX AHMAD 44.5 38.5 59.0 16.1 20.6 28.3 61.2 53.9 40.3 70.2 77.7 70.6 74.5 69.2 71.8 67.9 72.7 65.4 63.5 70.3 PPTX AHMAD 44.5 38.5 59.0 16.1 20.6 28.3 61.2 53.9 40.3 70.2 77.7 70.6 74.5 69.2 71.8 67.9 72.7 65.4 63.5 70.3 0.43
— 27.9 45.3 16.1 — 28.0 53.6 49.4 — 68.4 75.6 67.8 73.3 65.8 73.1 68.0 76.7 60.5 61.8 69.1 — 27.9 45.3 16.1 — 28.0 53.6 49.4 — 68.4 75.6 67.8 73.3 65.8 73.1 68.0 76.7 60.5 61.8 69.1 0.45
Table 1: Test UAS and LAS (avg. 表1: test uas and las (avg) 0.70
5 runs) on distant (top) and nearby (bottom) languages, sorted from most distant (fa) to closest (de) to English. 最も遠い(fa)言語から最も近い(de)言語に分類された、遠く離れた(トップ)および近くの(bottom)言語上の(5ラン)。 0.72
PPTX is trained in a leave-one-out fashion. PPTXはワンアウトでトレーニングされる。 0.67
The numbers for HE, AHMAD, and MENG are obtained from the corresponding papers, direct transfer (DT) and self-training (ST) are based on our own implementation. HE、AHMAD、MENGの数値は対応する論文から得られ、直接転送(DT)と自己訓練(ST)は独自の実装に基づいています。 0.61
† indicates languages used for hyper-parameter tuning, and thus have additional supervision through the use of a labelled development set. はハイパーパラメータチューニングに使用される言語を示しており、ラベル付き開発セットを使用することで追加の監督を行います。 0.61
better than MENG (Meng et al., 2019) on 4 out of 7 distant languages, and slightly better on average on nearby languages. meng (meng et al., 2019) は7つの遠方の言語のうち4つで、近隣の言語の平均よりわずかに優れている。 0.78
This finding shows that PPT is competitive to their constrained inference method. この結果から, PPTは制約付き推論法と競合することが示された。 0.58
Also reported in Table 1 are the ensemble results for PPTX, which are particularly strong. 表1にも、特に強いPPTXのアンサンブル結果が報告されています。 0.69
PPTX outperforms PPT, especially on distant languages with the average UAS and LAS absolute improvements of 7 % and 6 % respectively. PPTX は PPT を、特に平均 UAS と LAS の絶対改善率がそれぞれ 7 % と 6 % の遠方言語で上回っています。 0.79
This finding suggests that PPTX is indeed an effective method for multisource transfer of neural dependency parsers. この結果は,PTXが神経依存パーサのマルチソース転送に有効な方法であることを示唆している。 0.61
It also gives further evidence that multi-source transfer is better than the single-source counterpart. また、マルチソース転送がシングルソース転送よりも優れているというさらなる証拠も与えます。 0.62
PPTX also closes the gap against the state-of-theart adaptation of He et al. PPTXはまた、He et alの最先端の適応に対するギャップを埋める。 0.64
(2019) in terms of average UAS on distant languages. (2019) 遠い言語における平均的なUASの観点で。 0.77
This result suggests that PPTX can be an option for languages that do not have a closely related high-resource language to transfer from. この結果から, PPTX は, 近縁な高リソース言語を持っていない言語に対して, 転送可能な選択肢である可能性が示唆された。 0.65
Treebank Leakage The success of our crosslingual transfer can be attributed in part to treebank leakage, which measures the fraction of dependency trees in the test set that are isomorphic to a tree in the training set (with potentially different words); accordingly these trees are not entirely Treebank Leakage クロスリンガル転送の成功は、一部はtreebankのリークによるもので、これはトレーニングセット内のツリー(潜在的に異なる単語で)に同型であるテストセット内の依存ツリーの分数を測定するものである。
訳抜け防止モード: Treebank Leakage クロスリンガル転送の成功は、部分的にはtreebankのリークによるものです。 これは、(潜在的に異なる単語で)トレーニングセットのツリーに同型であるテストセット内の依存ツリーの分数を測定する。 ですから この木は 完全には
0.72
Figure 2: Relationship between treebank leakage and LAS for PPTX. 図2:PPTXのツリーバンク漏洩とLASの関係。 0.64
Shaded area shows 95 % confidence interval. シェード領域は95%の信頼区間を示す。 0.71
Korean and Turkish (in red) are excluded when computing the regression line. 韓国語とトルコ語(赤)は回帰線を計算する際に除外される。 0.69
unseen. Such leakage has been found to be a particularly strong predictor for parsing performance in monolingual parsing (Søgaard, 2020). 見えない このような漏洩は、単言語構文解析におけるパース性能の特に強力な予測因子であることが判明している(søgaard, 2020)。
訳抜け防止モード: 見えない このような漏えいが見つかりました 単言語構文解析(søgaard, 2020)のパース性能を特に強く予測する。
0.55
Fig. 2 shows the relationship between treebank leakage and parsing accuracy, where the leakage is computed between the English training set as source and the target language’s test set. フィギュア。 2は、ツリーバンクの漏洩とパース精度の関係を示し、ソースとして英語トレーニングセットとターゲット言語のテストセットの間で漏れが計算されます。 0.62
Excluding outliers which are Korean and Turkish because of their low parsing accuracy despite the relatively high leakage, we find that there is a fairly strong positive correlation (r = 0.57) between the amount of 比較的高い漏洩にもかかわらず解析精度が低いため、韓国とトルコのアウトリーチを除くと、その量の間にはかなり強い正の相関(r = 0.57)があることが分かる。 0.78
0.10.20.30.40.50.60. 7Leakage0.20.40.60.8 1.0LASarbgdadeesfafr hehihriditkonlnoptsv tr 0.10.20.30.40.50.60. 7Leakage0.20.40.60.8 1.0lasarbgadeesfafrh ehriditkonlnoptsvtr 0.06
英語(論文から抽出)日本語訳スコア
leakage and accuracy. The same trend occurs with DT, ST, and PPT. 漏出および正確さ。 同じ傾向はDT, ST, PPTで起こっている。 0.78
This finding suggests that crosslingual parsing is also affected by treebank leakage just like monolingual parsing is, which may present an opportunity to find good sources for transfer. この発見は、クロスリンガル解析が単言語構文解析と同様に木バンクリークによっても影響を受けることを示唆している。 0.53
Use of Gold POS Tags As we explained in Section 3.1, we restrict our experiments to gold POS tags for comparison with prior work. ゴールド POS タグの使用 セクション 3.1 で説明したように、実験は以前の作業と比較してゴールド POS タグに制限されます。 0.71
However, the use of gold POS tags does not reflect a realistic low-resource setting where one may have to resort to automatically predicted POS tags. しかし、ゴールドのPOSタグの使用は、予測されたPOSタグに頼らざるを得ない現実的な低リソース設定を反映していません。 0.56
Tiedemann (2015) has shown that cross-lingual delexicalised parsing performance degrades when predicted POS tags are used. Tiedemann (2015) は、予測POSタグを使用すると、言語横断のデレシライズされた構文解析性能が低下することを示した。 0.51
The degradation ranges from 2.9 to 8.4 LAS points depending on the target language. 劣化はターゲット言語による2.9から8.4 LASポイントの範囲である。 0.78
Thus, our reported numbers in Table 1 are likely to decrease as well if predicted tags are used, although we expect the decline is not as sharp because our parser is lexicalised. したがって、表1で報告された数値は、予測タグが使用される場合も同様に減少する可能性が高いが、構文解析器が語彙化されているため、減少はそれほど顕著ではないと期待する。 0.59
3.4 Parsimonious Selection of Sources for 3.4 ソースの選択 0.68
PPTX In our main experiment, we use all available languages as source for PPTX in a leave-one-out setting. PPTX 主要な実験では、すべての利用可能な言語をPTXのソースとして使用しています。 0.75
Such a setting may be justified to cover as many syntactic biases as possible, however, training dozens of parses may be impractical. このような設定はできるだけ多くの構文バイアスをカバーするように正当化されるかもしれないが、数十の構文解析を訓練することは現実的ではないかもしれない。 0.45
In this experiment, we consider the case where we can train only a handful of source parsers. 本実験では,少数のソースパーサのみをトレーニングできる場合について考察する。 0.61
We investigate two selections of source languages: (1) a representative selection (PPTX-REPR) which covers as many language families as possible and (2) a pragmatic selection (PPTX-PRAG) containing truly high-resource languages for which quality pretrained parsers are likely to exist. 1) 可能な限り多くの言語ファミリをカバーする代表的選択(PPTX-REPR)と、(2) 品質の事前訓練されたパーサーが存在する可能性が高い真の高リソース言語を含む実用的選択(PPTX-PRAG)である。 0.81
We restrict the selections to 5 languages each. 選択言語はそれぞれ5言語に制限します。 0.76
For PPTX-REPR, we use English, Spanish, Arabic, Indonesian, and Korean as source languages. PPTX-REPRでは、英語、スペイン語、アラビア語、インドネシア語、韓国語をソース言語として使用します。 0.62
This selection covers Indo-European (Germanic and Romance), AfroAsiatic, Austronesian, and Koreanic language families respectively. この選択対象はインド・ヨーロッパ語(ドイツ語とロマンス)、アフロアジア語、オーストリア語、韓国語である。 0.53
We use English, Spanish, Arabic, French, and German as source languages for PPTX-PRAG. PPTX-PRAGのソース言語として、英語、スペイン語、アラビア語、フランス語、ドイツ語を使用します。 0.57
The five languages are classified as exemplary high-resource languages by Joshi et al. 5つの言語は、Joshiらによって模範的な高リソース言語に分類される。 0.58
(2020). We exclude a language from the source if it is also the target language, in which case there will be only 4 source languages. (2020). 対象言語であるならば、ソースから言語を除外します。
訳抜け防止モード: (2020). ソースから言語を除外します。 また、ターゲット言語であり、その場合、唯一の4つのソース言語があります。
0.83
Other than that, the setup is the same as that of our main experiment.8 We present the result in Fig. それ以外に、セットアップは私たちの主な実験のそれと同じです.8図で結果を示します。 0.81
3 where we also include the results for PPT, and PPTX with the 8Hyperparameters are tuned; values are shown in Table 5. PPT と 8Hyperparameters の PPTX が調整され、テーブル 5 に値が表示されます。
訳抜け防止モード: 3)pptの結果と8ハイパーパラメータのpptxがチューニングされた場合。 値が表5に示されます。
0.54
leave-one-out setting (PPTX-LOO). leave-one-out設定(PPTX-LOO)。 0.54
We report only LAS since UAS shows a similar trend. UASが同様の傾向を示すため、LASのみを報告します。 0.67
We observe that both PPTX-REPR and PPTX-PRAG outperform PPT overall. PPTX-REPR と PPTX-PRAG はPPT を総合的に上回っている。 0.53
Furthermore, on nearby languages except Dutch and German, both PPTXREPR and PPTX-PRAG outperform PPTX-LOO, and PPTX-PRAG does best overall. さらに、オランダ語とドイツ語以外の言語では、PPTXREPRとPPTX-PRAGがPPTX-LOOより優れており、PPTX-PRAGは全体として最も優れている。
訳抜け防止モード: さらに、オランダ語とドイツ語以外は PPTXREPR PPTX - PRAG は PPTX - LOO と PPTX - PRAG より優れています。
0.82
In contrast, no systematic difference between the three PPTX variants emerges on distant languages. 対照的に、PPTXの3つの変種間の系統的な相違は遠い言語で現われません。 0.61
This finding suggests that instead of training dozens of source parsers for PPTX, training just a handful of them is sufficient, and a “pragmatic” selection of a small number of high-resource source languages seems to be an efficient strategy. この発見は、PPTXのために数十のソースパーサーを訓練する代わりに、ほんの一握りのソースパーサーを訓練するだけで十分であり、少数の高リソースソース言語の「実用的」選択は、効率的な戦略であると思われることを示唆している。 0.64
Since pre-trained parsers for these languages are most likely available, it comes with the additional advantage of alleviating the need to train parsers at all, which makes our method even more practical. これらの言語に対する事前訓練されたパーサーはおそらく利用可能である可能性が高いため、パーサーをまったく訓練する必要がなくなるという利点が加わり、我々のメソッドはより実用的になる。 0.59
Analysis on Dependency Labels Next, we break down the performance of our methods based on the dependency labels to study their failure and success patterns. 依存性ラベルの分析 次に、依存関係ラベルに基づいてメソッドのパフォーマンスを分解し、その失敗と成功パターンを調査します。 0.76
Fig. 4 shows the UAS of DT, PPT, and PPTX-PRAG on Indonesian and German for select dependency labels. フィギュア。 DT, PPT, PPTX-PRAGのUASがインドネシアとドイツ語で選択された依存ラベルを示す。 0.55
Looking at Indonesian, PPT is slightly worse than DT in terms of overall accuracy scores (Table 1), and this is reflected across dependency labels. インドネシアのPPTは、全体的な精度スコア(Table 1)ではDTよりもわずかに悪く、依存関係ラベルに反映される。 0.70
However, we see in Fig. しかし、図ではそうである。 0.66
4 that PPT outperforms DT on amod. PPT は amod で DT を上回ります。 0.69
In Indonesian, adjectives follow the noun they modify, while in English the opposite is true in general. インドネシア語では形容詞は修飾する名詞に従うが、英語では逆は一般に正しい。 0.77
Thus, unsupervised target language adaptation seems able to address these kinds of discrepancy between the source and target language. このように、教師なしのターゲット言語適応は、ソースとターゲット言語間のこの種の相違に対処できるように見える。
訳抜け防止モード: したがって、教師なしのターゲット言語適応は可能と思われる ソースとターゲット言語の違いに対処するためです
0.80
We find that PPTX-PRAG outperforms both DT and PPT across dependency labels, especially on flat and compound labels as shown in Fig. また, PPTX-PRAGは依存性ラベル, 特にFigに示すフラットラベル, 複合ラベルにおいてDT, PPTの両方に優れていた。 0.67
4. Both labels are related to multi-word expressions (MWEs), so PPTX appears to improve parsing MWEs in Indonesian significantly. 4. 両方のラベルはマルチワード表現(MWE)に関連しているので、PPTXはインドネシアのMWEの構文解析を大幅に改善しているようです。 0.70
For German we find that both PPT and PPTXPRAG outperform DT on most dependency labels, with the most notable gain on nmod, which appear in diverse, and often non-local relations in both languages many of which do not structurally translate, and fine-tuning improves performance as expected. ドイツ語では、PTT と PPTXPRAG の両方がほとんどの依存ラベルでDT を上回っており、nmod の顕著な利益は多様であり、両方の言語で非局所的な関係は構造的に翻訳されておらず、微調整が期待どおりのパフォーマンスを向上させることがよくあります。 0.68
Also, we see PPTX-PRAG significantly underperforms on compound while PPT is better than DT. また、PPTX-PRAGは、PTTがDTよりも優れている間、化合物で大幅にパフォーマンスが低下します。 0.53
German compounds are often merged into a single token, and self-training appears to alleviate over-prediction of such relations. ドイツの化合物はしばしば単一のトークンにマージされ、自己訓練はそのような関係の過剰予測を緩和するように見える。 0.57
The multi-source case may contain too much diffuse マルチソースの場合、拡散が多すぎるかもしれない 0.56
英語(論文から抽出)日本語訳スコア
Figure 3: Comparison of selection of source languages for PPTX on distant and nearby languages, sorted from most distant (fa) to closest (de) to English. 図3:最も遠い言語(fa)から最も近い言語(de)から英語にソートされた遠隔言語および近隣言語におけるPPTXのソース言語の選択の比較。 0.81
PPTX-LOO is trained in a leave-one-out fashion. PPTX-LOOは、ワンアウトでトレーニングされる。 0.61
PPTX-REPR uses the representative source language set, while PPTX-PRAG is adapted from five high-resource languages. PPTX-REPRは代表的ソース言語セットを使用し、PPTX-PRAGは5つの高リソース言語から適応されている。 0.61
A source language is excluded from the source if it is also the target language. ソース言語も対象言語である場合、ソース言語はソースから除外されます。 0.81
Model Target id モデル ターゲット id 0.78
hr fr nl Non-projective hr fr nl 非射影 0.78
DT 45.2 PPT 44.7 PPTX-PRAG 57.4 DT 45.2 PPT 44.7 PPTX-PRAG 57.4 0.55
51.9 54.2 62.2 51.9 54.2 62.2 0.47
Projective DT 45.7 PPT 45.0 PPTX-PRAG 57.5 投影 DT 45.7 PPT 45.0 PPTX-PRAG 57.5 0.58
52.1 54.0 61.1 52.1 54.0 61.1 0.47
68.1 72.8 77.9 68.1 72.8 77.9 0.47
68.4 72.3 78.1 68.4 72.3 78.1 0.47
59.5 61.5 66.4 59.5 61.5 66.4 0.47
59.6 61.7 67.7 59.6 61.7 67.7 0.47
AVG 56.2 58.3 66.0 AVG 56.2 58.3 66.0 0.66
56.4 58.3 66.1 56.4 58.3 66.1 0.47
Table 2: Comparison of projective and non-projective direct transfer (DT), PPT, and PPTX-PRAG. 表2:投射的および非投射的な直接移動(DT)、PPTおよびPPTX-PRAGの比較。 0.72
Scores are LAS, averaged over 5 runs. スコアはLASで、平均で5ランです。 0.74
3.5 Effect of Projectivity In this experiment, we study the effect of projectivity on the performance of our methods. 3.5 プロジェクティビティの効果 この実験では, プロジェクティビティが手法の性能に及ぼす影響について検討した。 0.77
We emulate a projective parser by restricting the trees in ˜Y (x) to be projective. 我々は、射影構文解析器を;y (x) の木を射影に制限することでエミュレートする。 0.59
In other words, the sum in Eq. 言い換えれば、Eqの合計です。 0.61
(1) is performed only over projective trees. 1)は投射木上でのみ行われます。 0.71
At test time, we search for the highest scoring projective tree. テスト時には、最も得点の高い射影木を探します。 0.62
We compare DT, PPT, and PPTX-PRAG, and report LAS on Indonesian (id) and Croatian (hr) as distant languages, and on French (fr) and Dutch (nl) as nearby languages. DT, PPT, PPTX-PRAGを比較し, インドネシア語 (id) とクロアチア語 (hr) を遠隔言語として, フランス語 (fr) とオランダ語 (nl) を近隣言語として報告する。 0.81
The trend for UAS and on the other languages is similar. UASと他の言語の傾向は類似している。 0.76
We use the dynamic programming implementation provided by torch-struct for the projective case (Rush, 2020). プロジェクティブケース(rush, 2020)にはtorch-structが提供する動的プログラミング実装を使用します。 0.83
We find that it consumes more memory than our Matrix-Tree Theorem implementation, so we set the length cutoff to 20 tokens.9 Matrix-Tree Theoremの実装よりも多くのメモリを消費していることが分かり、長さを20トークンに設定しました。
訳抜け防止モード: Matrix - Tree Theorem実装よりも多くのメモリを消費します。 長さのカットオフを20トークンにしました
0.75
Table 2 shows result of our experiment, which suggests that there is no significant performance difference between the projective and non-projective 表2は実験の結果を示し、これは射影と非射影の間に有意な性能差がないことを示唆している。
訳抜け防止モード: 表2は実験の結果です。 射影と非射影の間に有意な性能差がないことを示唆する
0.77
9Hyperparameters are tuned; values are shown in Table 5. 9Hyperparametersは調整されます。値を表5に示します。 0.72
Figure 4: Comparison of direct transfer (DT), PPT, and PPTX-PRAG on select dependency labels of Indonesian (top) and German (bottom). 図4:インドネシア(トップ)とドイツ(ボトム)の選択的依存ラベルに対する直接転送(DT)、PPT、PPTX-PRAGの比較。 0.75
signal on compound and thus the performance is worse than that of DT. 化合物に信号を送ると、DTよりも性能が悪くなります。 0.76
We find that PPT and PPTX improves over DT on mark, likely because markers are often used in places where German deviates from English by becoming verb-final (e.g., subordinate clauses). PPT と PPTX が DT よりも良くなるのは、ドイツ語が動詞の節(例えば、従属節)になることによって英語から逸脱する場所において、しばしばマーカーが使われるためである。 0.65
Both PPT and PPTX-PRAG seem able to learn this characteristic as shown by their performance improvements. PPTとPPTX-PRAGの両方が、パフォーマンスの改善によって示されるように、この特性を学ぶことができるようです。
訳抜け防止モード: PPT と PPTX - PRAG はどちらも有効に思われる パフォーマンス改善で示されるように この特徴を習得することです
0.69
This analysis suggests that the benefits of self-training depend on the syntactic properties of the target language. この分析は、自己訓練の利点がターゲット言語の構文特性に依存することを示唆している。 0.74
faaridkotrhihrheDist ant0.00.10.20.30.40. 50.6LASPPTPPTX-LOOPP TX-REPRPPTX-PRAGbgit ptfresnodasvnldeNear by0.00.20.40.60.80.0 0.20.40.6amodcompoun dflatIndonesian0.00. 20.40.60.8UASnmodcom poundmarkGermanDTPPT PPTX-PRAG faaridkotrhihrheDist ant0.00.10.20.30.40. 50.50.6LASPPTPPTX-LO OPPTX-REPRPPTX-PRAGb gitptfresnodasvnldeN earby0.00.20.40.60.8 0.00.40.60.6amodcomp oundIndonesian0.00.2 0.20.40.60.8UASnmodc ompoundmark GermanDTPPTPPTX-PRAG 0.03
英語(論文から抽出)日本語訳スコア
Model DT PPT PPTXEN 5 PPTX-PRAGS PPTX-PRAG モデル DT PPTXEN 5 PPTX-PRAGS PPTX-PRAG 0.80
Target ar 28.1 30.8 30.9 36.5 36.5 Target ar 28.1 30.8 30.9 36.5 36.5 0.52
es 64.1 67.3 66.3 70.3 71.9 es 64.1 67.3 66.3 70.3 71.9 0.48
Table 3: Comparison of LAS on Arabic and Spanish on the development set, averaged over 5 runs. 表3: 開発セットにおけるアラビアとスペイン語でのLASの比較は平均5回以上である。 0.81
PPTXEN 5 is PPTX with 5 English parsers as source, each trained on 1/5 size of the English corpus. PPTXEN 5はPPTXで、5つの英語パーサーをソースとして、それぞれが英語コーパスの1/5サイズで訓練されている。 0.64
PPTX-PRAGS is PPTX with the pragmatic selection of source languages (PPTX-PRAG) but each source parser is trained on the same amount of data as PPTXEN 5. PPTX-PRAGSは、pragmatic selection of source languages (PPTX-PRAG)を備えたPPTXであるが、各ソースパーサは、PPTXEN 5と同じ量のデータに基づいて訓練される。
訳抜け防止モード: PPTX - PRAGS is PPTX with the pragmatic selection of source languages (PPTX - PRAG ) しかし、各ソースパーサはPPTXEN 5と同じ量のデータで訓練される。
0.91
variant of our methods. This result suggests that our methods generalise well to both projective and non-projective parsing. 我々の方法の変種だ この結果は,提案手法が射影解析と非射影解析の両方によく当てはまることを示唆している。 0.59
That said, we recommend the non-projective variant as it allows better parsing of languages that are predominantly non-projective. とは言っても、主に非プロジェクティブな言語を解析しやすくするため、非プロジェクティブな変種を推奨します。 0.57
Also, we find that it runs roughly 2x faster than the projective variant in practice. また、実際は投影型よりも約2倍速く動作していることもわかりました。 0.61
3.6 Disentangling the Effect of Ensembling 3.6 組立効果の解消 0.80
and Larger Data Size より大きなデータサイズと 0.88
The effectiveness of PPTX can be attributed to at least three factors: (1) the effect of ensembling source parsers (ensembling), (2) the effect of larger data size used for training the source parsers (data), and (3) the diversity of syntactic biases from multiple source languages (multilinguality). PPTXの有効性は、(1)ソースパーサーのアンサンブル効果(アンサンブル)、(2)ソースパーサーのトレーニングに使用されるより大きなデータサイズの影響(データ)、(3)複数のソース言語からのシンタクティックバイアスの多様性(多言語性)の少なくとも3つの要因に起因する可能性があります。 0.80
In this experiment, we investigate to what extent each of those factors contributes to the overall performance. 本実験では,これらの要因が全体の性能に与える影響について検討する。 0.75
To this end, we design two additional comparisons: PPTXEN 5 and PPTX-PRAGS. この目的のために、PPTXEN 5 と PPTX-PRAGS の2つの比較を設計する。 0.63
PPTXEN 5 is PPTX with only English source parsers, where each parser is trained on 1/5 of the English training set. PPTXEN 5は、英語ソースパーサーのみを備えたPPTXで、各パーサーは英語のトレーニングセットの1/5で訓練されます。 0.73
That is, we randomly split the English training set into five equal-sized parts, and train a separate parser on each. つまり、英語のトレーニングセットをランダムに5つに分割し、それぞれに別々のパーサをトレーニングします。 0.67
These parsers then serve as the source parsers for PPTXEN 5. これらのパーサは PPTXEN 5 のソースパーサとして機能する。 0.67
Thus, PPTXEN 5 has the benefit of ensembling but not data and multilinguality compared with PPT. したがって、PPTXEN 5 は PPT と比較してデータと多言語性がないという利点がある。 0.75
PPTX-PRAGS is PPTX whose source language selection is the same as PPTX-PRAG, but each source parser is trained on the training data whose size is roughly the same as that of the training data of PPTXEN 5 source parsers. PPTX-PRAGSは、ソース言語選択がPPTX-PRAGと同じであるPTXであるが、各ソースパーサは、PTXEN 5ソースパーサのトレーニングデータとほぼ同じ大きさのトレーニングデータに基づいて訓練される。 0.86
In other words, the training data size is roughly equal to 1/5 of the English training set. 言い換えれば、トレーニングデータのサイズは、英語のトレーニングセットの1/5にほぼ等しい。 0.75
To obtain this data, we ran- このデータを得るために、私たちは- 0.68
domly sub-sample the training data of each source language to the appropriate number of sentences. Domlyは、各ソース言語のトレーニングデータを適切な数の文にサブサンプリングする。 0.72
Therefore, PPTX-PRAGS has the benefit of ensembling and multilinguality but not data. したがって、PTX-PRAGSは、データではなく、アンサンブルと多言語性の利点がある。 0.54
Table 3 reports their LAS on the development set of Arabic and Spanish, averaged over five runs. 表3は、アラビア語とスペイン語の開発セットに関するLASを報告しています。 0.68
We also include the results of PPTX-PRAG that enjoys all three benefits. 我々はまた、すべての3つの利点を楽しむPPTX-PRAGの結果を含めます。 0.55
We observe that PPT and PPTXEN 5 perform similarly on Arabic, and PPTXEN 5 has a slightly lower performance on Spanish. PPTXEN 5 と PPTXEN 5 はアラビア語でも同様の性能を示し,PPTXEN 5 はスペイン語で若干低い性能を示した。 0.78
This result suggests a negligable effect of ensembling on performance. この結果は、アンサンブルがパフォーマンスに無視できる影響を示唆している。 0.55
On the other hand, PPTX-PRAGS outperforms PPTXEN 5 remarkably, with approximately 6 % and 4 % LAS improvement on Arabic and Spanish respectively, showing that multilinguality has a much larger effect on performance than ensembling. 一方, PPTX-PRAGS は PPTXEN 5 を著しく上回り, アラビア語とスペイン語で約 6 %, 4 % LAS の改善が見られ, マルチリンガル性はアンサンブルよりも高い性能を示した。 0.81
Lastly, we see that PPTXPRAG performs similarly to PPTX-PRAGS on Arabic, and about 1.6 % better on Spanish. 最後に, PPTXPRAG はアラビア語の PPTX-PRAGS と同様の動作を示し, スペイン語では 1.6 % 向上した。 0.67
This result demonstrates that data size has an effect, albeit a smaller one compared to multilinguality. この結果は、多言語性に比べて小さいが、データサイズには効果があることを示している。
訳抜け防止モード: この結果は データサイズには効果がありますが、多言語に比べて小さいものです。
0.81
To conclude, the effectiveness of PPTX can be attributed to the diversity contributed through multiple languages, and not to ensembling or larger source data sets. 結論として、PPTXの有効性は、複数の言語を通じて貢献された多様性に起因し、ソースデータセットのアンサンブルやより大きなソースデータセットに起因する。 0.57
4 Related Work Cross-lingual dependency parsing has been extensively studied in NLP. 4 関連作業 クロス言語依存解析はNLPで広く研究されている。 0.72
The approaches can be grouped into two main categories. アプローチは2つの主要なカテゴリに分類できる。 0.80
On the one hand, there are approaches that operate on the data level. 一方、データレベルで操作するアプローチがあります。 0.50
Examples of this category include annotation projection, which aims to project dependency trees from a source language to a target language (Hwa et al., 2005; Li et al., 2014; Lacroix et al., 2016; Zhang et al., 2019); and source treebank reordering, which manipulates the source language treebank to obtain another treebank whose statistics approximately match those of the target language (Wang and Eisner, 2018; Rasooli and Collins, 2019). このカテゴリの例としては、ソース言語からターゲット言語への依存性ツリーの投影を目的としたアノテーションプロジェクション(Hwa et al., 2005; Li et al., 2014; Lacroix et al., 2016; Zhang et al., 2019)、ソース言語ツリーバンクを操作して、ターゲット言語のそれとほぼ一致する統計量(Wang and Eisner, 2018; Rasooli and Collins, 2019)を取得するソースツリーバンクのリオーダーがある。 0.80
Both methods have no restriction on the type of parsers as they are only concerned with the data. どちらのメソッドも、データのみに関連するため、パーサーのタイプに制限はありません。 0.72
Transferring from multiple source languages with annotation projection is also feasible (Agi´c et al., 2016). アノテーションプロジェクションによる複数のソース言語からの転送も可能である(agi ́c et al., 2016)。 0.75
these data-level methods may require access to the source language data, hence are unusable when it is inaccessible due to privacy or legal reasons. これらのデータレベルメソッドは、ソース言語データへのアクセスを必要とする可能性があるため、プライバシーや法的理由からアクセスできない場合は使用できない。 0.69
In such source-free transfer, only a model pre-trained on the source language data is available. このようなソースフリー転送では、ソース言語データに事前訓練されたモデルのみが利用可能である。 0.66
By leveraging parallel data, annotation projection is indeed feasible without ac- 並列データを活用することで、アノテーションプロジェクションはacなしで実現可能です。 0.59
Despite their effectiveness, 効果はあるものの。 0.48
英語(論文から抽出)日本語訳スコア
cess to the source language data. ソース言語データに cess を挿入します。 0.69
That said, parallel data is limited for low-resource languages or may have a poor domain match. とはいえ、並列データは低リソース言語に限られているか、ドメインマッチが貧弱である可能性がある。 0.55
Additionally, these methods involve training the parser from scratch for every new target language, which may be prohibitive. さらに、これらのメソッドは、新しいターゲット言語毎に、スクラッチからパーサをトレーニングする。
訳抜け防止モード: さらに、これらの方法も含まれます。 新しいターゲット言語ごとに、パーサーをゼロからトレーニングします。
0.65
On the other hand, there are methods that operate on the model level. 一方、モデルレベルで動作させる方法があります。 0.52
A typical approach is direct transfer (aka., zero-shot transfer) which trains a parser on source language data, and then directly uses it to parse a target language. 典型的なアプローチはダイレクトトランスファー(いわゆるゼロショットトランスファー)で、パーサをソース言語データでトレーニングし、それを直接使用してターゲット言語を解析する。 0.76
This approach is enabled by the shared input representation between the source and target language such as POS tags (Zeman and Resnik, 2008) or cross-lingual embeddings (Guo et al., 2015; Ahmad et al., 2019a). このアプローチは、POSタグ(Zeman and Resnik, 2008)や言語間埋め込み(Guo et al., 2015; Ahmad et al., 2019a)のようなソースとターゲット言語間の共有入力表現によって実現されている。 0.85
Direct transfer supports source-free transfer and only requires training a parser once on the source language data. Direct Transferはソースフリーの転送をサポートし、ソース言語データに一度だけパーサーをトレーニングする必要がある。 0.68
In other words, direct transfer is unsupervised as far as target language resources. 言い換えれば、直接転送は、ターゲット言語リソースまで監視されません。 0.72
Previous work has shown that unsupervised target language adaptation outperforms direct transfer. 前回の研究では、教師なしのターゲット言語適応が直接転送よりも優れていることが示されている。 0.35
Recent work by He et al. He et al による最近の作品。 0.67
(2019) used a neural lexicalised dependency model with valence (DMV) (Klein and Manning, 2004) as the source parser and fine-tuned it in an unsupervised manner on the unlabelled target language data. (2019) では, ソースパーサとして valence (DMV) (Klein and Manning, 2004) を用いたニューラル語彙依存モデルを用い, 教師なし対象言語データに基づいて微調整を行った。 0.84
This adaptation method allows for source-free transfer and performs especially well on distant target languages. この適応方法は、ソースフリーな転送が可能であり、特に遠方のターゲット言語でうまく機能する。 0.59
A different approach is proposed by Meng et al. mengらによって異なるアプローチが提案されている。 0.59
(2019), who gathered target language corpus statistics to derive constraints to guide inference using the source parser. (2019) 対象言語コーパス統計を収集し、ソースパーサを用いた推論を導くための制約を導出した。 0.68
Thus, this technique also allows for source-free transfer. したがって、このテクニックはソースフリーな転送も可能にする。 0.57
A different method is proposed by Ahmad et al. ahmadらによって異なる方法が提案されている。 0.65
(2019b) who explored the use of unlabelled data from an auxiliary language, which can be different from the target language. (2019b) は, 対象言語と異なる助言語からの非ラベルデータの使用について検討した。 0.74
They employed adversarial training to learn language-agnostic representations. 彼らは言語に依存しない表現を学ぶために反対の訓練を雇った。 0.36
Unlike the others, this method can be extended to support multisource transfer. 他の方法とは異なり、このメソッドはマルチソース転送をサポートするように拡張できる。 0.62
An older method is introduced by T¨ackstr¨om et al. より古い方法は、T sackstr som et alによって導入される。 0.46
(2013), who leveraged ambiguityaware training to achieve unsupervised target language adaptation. 2013年、ambiguityaware trainingを活用し、教師なしのターゲット言語適応を達成した。 0.52
Their method is usable for both source-free and multi-source transfer. その方法は、ソースフリーとマルチソースの両方の転送に利用できる。 0.61
However, to the best of our knowledge, its use for neural dependency parsing has not been investigated. しかし、私たちの知る限りでは、神経依存性解析の使用は検討されていない。 0.70
Our work extends theirs by employing it for the said purpose. 私たちの仕事は、その目的のためにそれを使用することによってその範囲を広げます。 0.45
The methods of both He et al. He と al の双方の方法。 0.67
(2019) and Ahmad et al. (2019年)とAhmad et al。 0.77
(2019b) have several limitations. (2019b)にはいくつかの制限がある。 0.53
The method of He et al. He et alの方法。 0.62
(2019) requires the parser to be generative and projective. (2019) パーサーは生成的かつ射影的である必要がある。 0.65
Their generative parser is quite impoverished with an accuracy that is 21 points lower than a state-of-the-art discriminative arc-factored parser on English. それらの生成 パーサーは非常に貧弱で、英語の判別可能なarc-factoredパーサーよりも21ポイント低い精度である。 0.59
Thus, their choice of generative parser may constrain its potential performance. したがって、生成構文解析器の選択はその潜在的な性能を制限する可能性がある。 0.50
Furthermore, their method performs substantially worse than direct transfer on nearby target languages. さらに、その方法は、近くのターゲット言語の直接転送よりも大幅に悪化します。 0.69
Because of the availability of resources such as Universal Dependency Treebanks (Nivre et al., 2018), it is likely that a target language has a closely related high-resource language which can serve as the source language. Universal Dependency Treebanks (Nivre et al., 2018)のようなリソースが利用可能であるため、ターゲット言語はソース言語として機能する、密接に関連する高リソース言語を持っている可能性が高い。 0.83
Therefore, performing well on nearby languages is more desirable pragmatically. したがって、近隣の言語での性能は実用上より望ましい。 0.65
On top of that, it is unclear how to employ this method for multisource transfer. それに加えて、この方法をマルチソース転送にどう使うかは不明だ。 0.68
The adversarial training method of Ahmad et al. Ahmad et alの反対の訓練方法。 0.65
(2019b) does not suffer from the aforementioned limitations but is unusable for sourcefree transfer. (2019b)は前述の制限に苦しむことはないが、ソースフリー転送には使用できない。 0.60
That is, it assumes access to the source language data, which may not always be feasible due to privacy or legal reasons. つまり、プライバシーや法的理由により、必ずしも実現できない可能性があるソース言語データへのアクセスを想定しています。 0.80
5 Conclusions This paper presents a set of effective, flexible, and conceptually simple methods for unsupervised cross-lingual dependency parsing, which can leverage the power of state-of-the-art pre-trained neural network parsers. 結論5 本稿では,最先端のニューラルネットワークパーサのパワーを活用できる,教師なし言語間依存関係解析のための効率的,柔軟,概念的にシンプルな手法のセットを提案する。 0.66
Our methods improve over direct transfer and strong recent unsupervised transfer models, by using source parser uncertainty for implicit supervision, leveraging only unlabelled data in the target language. 提案手法は,ソースパーサの不確かさを暗黙の監視に利用し,対象言語でラベルなしデータのみを活用することで,直接転送と近年の強い教師なし転送モデルを改善する。 0.69
Our experiments show that the methods are effective for both single-source and multi-source transfer, free from the limitations of recent transfer models, and perform well for non-projective parsing. 実験の結果,提案手法は単一ソースと複数ソースの転送に有効であり,近年の転送モデルに制約がなく,非プロジェクティブ解析にも有効であることがわかった。 0.74
Our analysis shows that the effectiveness of the multi-source transfer method is attributable to its ability to leverage diverse syntactic signals from source parsers from different languages. 解析の結果,マルチソース転送手法の有効性は,異なる言語からのソースパーサからの多様な構文信号を活用する能力に起因することが示唆された。 0.75
Our findings motivate future research into advanced methods for generating informative sets of candidate trees given one or more source parsers. 本研究は,1つ以上のソースパーサが与えられた候補木の情報集合を生成する手法の先進的な研究を動機付けている。 0.63
Acknowledgments We thank the anonymous reviewers for the useful feedback. 承認 私たちは匿名のレビュアーに有用なフィードバックに感謝します。 0.53
A graduate research scholarship is provided by Melbourne School of Engineering to Kemal Kurniawan. 大学院研究奨学金はメルボルン工科大学からKemal Kurniawanに提供される。 0.69
英語(論文から抽出)日本語訳スコア
References ˇZeljko Agi´c, Anders Johannsen, Barbara Plank, H´ector Mart´ınez Alonso, Natalie Schluter, and Anders Søgaard. 参考文献は、Zeljko Agi ́c、Anders Johannsen、Barbara Plank、H ́ector Mart ́ınez Alonso、Natalie Schluter、Anders Søgaardである。 0.63
2016. Multilingual projection for parsing truly low-resource languages. 2016. 真の低リソース言語解析のための多言語プロジェクション。 0.72
Transactions of the Association for Computational Linguistics, 4:301– 312. 計算言語協会の取引、4:301 - 312。 0.70
Wasi Ahmad, Zhisong Zhang, Xuezhe Ma, Eduard Hovy, Kai-Wei Chang, and Nanyun Peng. Wasi Ahmad, Zhisong Zhang, Xuezhe Ma, Eduard Hovy, Kai-Wei Chang, Nanyun Peng 0.74
2019a. On difficulties of cross-lingual transfer with order differences: A case study on dependency parsing. 2019年。 順序の異なる言語間伝達の難しさについて:依存性解析を事例として 0.71
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 2440– 2452. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 2440–2452。 0.75
Wasi Uddin Ahmad, Zhisong Zhang, Xuezhe Ma, KaiWei Chang, and Nanyun Peng. Wasi Uddin Ahmad、Zhisong Zhang、Xuezhe Ma、KaiWei Chang、Nanyun Peng。 0.66
2019b. Crosslingual dependency parsing with unlabeled auxiliary languages. 2019年。 ラベルなし補助言語による言語間依存性解析。 0.64
In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pages 372–382. The 23rd Conference on Computational Natural Language Learning (CoNLL) において、372–382頁。 0.87
Piotr Bojanowski, Edouard Grave, Armand Joulin, and Tomas Mikolov. Piotr Bojanowski、Edouard Grave、Armand Joulin、Tomas Mikolov。 0.65
2017. Enriching word vectors with subword information. 2017. 単語ベクトルをサブワード情報で強化する。 0.75
Transactions of the Association for Computational Linguistics, 5:135–146. 計算言語学会の取引、5:135–146。 0.64
Yoeng-Jin Chu and Tseng-Hong Liu. Yoeng-Jin ChuとTseng-Hong Liu。 0.70
1965. On the shortest arborescence of a directed graph. 1965. 有向グラフの最短アーボラッセンスについて 0.69
Scientia Sinica, 14:1396–1400. Scientia Sinica, 14:1396–1400。 0.66
Miryam de Lhoneux. Miryam de Lhoneux。 0.79
2019. Linguistically Informed Neural Dependency Parsing for Typologically Diverse Languages. 2019. 言語学的多言語に対する言語的インフォームドニューラル依存構文解析 0.75
Ph.d. thesis, Uppsala University. ウプサラ大学博士号取得。 0.48
Long Duong, Trevor Cohn, Steven Bird, and Paul Cook. Long Duong、Trevor Cohn、Steven Bird、Paul Cook。 0.69
2015a. Cross-lingual transfer for unsupervised dependency parsing without parallel data. 2015年。 並列データなしの教師なし依存解析のための言語間変換 0.67
In Proceedings of the Nineteenth Conference on Computational Natural Language Learning, pages 113–122. 第9回計算自然言語学習会議(英語版)において、113-122ページ。 0.58
Long Duong, Trevor Cohn, Steven Bird, and Paul Cook. Long Duong、Trevor Cohn、Steven Bird、Paul Cook。 0.69
2015b. Low resource dependency parsing: Crosslingual parameter sharing in a neural network parser. 2015年。 低リソース依存解析:ニューラルネットワークパーサで言語間パラメータを共有する。 0.72
In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pages 845–850. 第53回計算言語学会年次大会および第7回自然言語処理国際合同会議(第2巻:短い論文)の議事録において、845-850頁。 0.71
Jack Edmonds. ジャック・エドモンド。 0.64
1967. Optimum branchings. 1967. 最適な分岐。 0.75
Journal of Research of the national Bureau of Standards B, 71(4):233–240. Journal of Research of the National Bureau of Standards B, 71(4):233–240。 0.96
Jason M. Eisner. Jason M. Eisner 0.80
1996. Three new probabilistic models In COLfor dependency parsing: An exploration. 1996. 新しい3つの確率モデル COLfor依存性解析:探索。 0.81
ING 1996 Volume 1: The 16th International Conference on Computational Linguistics. ing 1996 volume 1: the 16th international conference on computational linguistics (英語) 0.82
Jiang Guo, Wanxiang Che, David Yarowsky, Haifeng Wang, and Ting Liu. Jiang Guo、Wanxiang Che、David Yarowsky、Haifeng Wang、Ting Liu。 0.65
2015. Cross-lingual dependency parsing based on distributed representations. 2015. 分散表現に基づく言語間依存関係解析。 0.78
In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 1234–1244. 第53回計算言語学会年次大会および第7回自然言語処理国際合同会議(第1巻:長い論文)の議事録において、1234-1244頁。 0.73
Junxian He, Zhisong Zhang, Taylor Berg-Kirkpatrick, and Graham Neubig. Junxian He、Zhisong Zhang、Taylor Berg-Kirkpatrick、Graham Neubig。 0.80
2019. Cross-lingual syntactic transfer through unsupervised adaptation of invertible projections. 2019. 可逆射影の教師なし適応による言語間シナティクス伝達 0.76
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 3211–3223. 第57回計算言語学会年次総会の進行において、3211-3223ページ。 0.59
Rebecca Hwa, Philip Resnik, Amy Weinberg, Clara Cabezas, and Okan Kolak. Rebecca Hwa, Philip Resnik, Amy Weinberg, Clara Cabezas, Okan Kolak 0.68
2005. Bootstrapping parsers via syntactic projection across parallel texts. 2005. 並列テキスト間の構文投影によるパーサのブートストラップ。 0.74
Natural Language Engineering, 11(3):311–325. 自然言語工学、11(3):311–325。 0.82
Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. Pratik Joshi、Sebastin Santy、Amar Budhiraja、Kalika Bali、Monojit Choudhury。 0.64
2020. The state and fate of linguistic diversity and inclusion in the NLP world. 2020. NLPの世界における言語の多様性と包含の状態と運命。 0.84
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 第58回計算言語学会年次大会を終えて 0.43
Dan Klein and Christopher Manning. ダン・クラインとクリストファー・マニング 0.47
2004. Corpusbased induction of syntactic structure: Models of deIn Proceedings of the pendency and constituency. 2004. コーパスに基づくシンタクティック構造の誘導: ペンダンシーと選挙権のDeIn Proceedingsのモデル。 0.76
42nd Annual Meeting of the Association for Computational Linguistics (ACL-04), pages 478–485. 42th Annual Meeting of the Association for Computational Linguistics (ACL-04) 478-485頁。 0.89
Terry Koo, Amir Globerson, Xavier Carreras, and Michael Collins. Terry Koo、Amir Globerson、Xavier Carreras、Michael Collins。 0.72
2007. Structured prediction modIn Proceedings els via the matrix-tree theorem. 2007. 構造予測 modIn 行列木定理によるエルの証明。 0.81
of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLPCoNLL), pages 141–150. 2007年の自然言語処理と計算自然言語学習における経験的方法に関する合同会議(EMNLPCoNLL)の141-150ページ。 0.81
Oph´elie Lacroix, Lauriane Aufrant, Guillaume Wisniewski, and Franc¸ois Yvon. Oph ́elie Lacroix、Lauriane Aufrant、Guillaume Wisniewski、Franc sois Yvon。 0.84
2016. Frustratingly easy cross-lingual transfer for transition-based dependency parsing. 2016. トランジッションベースの依存構文解析に対するフラストレーションが容易なクロスリンガル変換 0.67
In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 1058–1063. 2016年の北米言語学会(Association for Computational Linguistics: Human Language Technologies, Page 1058–1063)の議事録において。 0.81
Zhenghua Li, Min Zhang, and Wenliang Chen. Zhenghua Li、Min Zhang、およびWenliang Chen。 0.79
2014. Soft cross-lingual syntax projection for dependency parsing. 2014. 依存関係解析のためのソフトクロス言語構文プロジェクション。 0.71
In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pages 783–793. The 25th International Conference on Computational Linguistics: Technical Papers, page 783–793 0.60
Ryan McDonald, Fernando Pereira, Kiril Ribarov, and Jan Hajiˇc. ライアン・マクドナルド、フェルナンド・ペレイラ、キリル・リバロフ、ヤン・ハジッチ。 0.52
2005. Non-projective dependency parsing using spanning tree algorithms. 2005. スパンニングツリーアルゴリズムを用いた非プロジェクティブ依存性解析。 0.82
In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pages 523–530. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, page 523–530。 0.89
Ryan McDonald, Slav Petrov, and Keith Hall. ライアン・マクドナルド、スラヴ・ペトロフ、キース・ホール。 0.62
2011. Multi-source transfer of delexicalized dependency parsers. 2011. delexicalized dependency parserのマルチソース転送。 0.79
In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pages 62–72. 2011年の自然言語処理における経験的方法に関する会議の進行において、62-72ページ。
訳抜け防止モード: 自然言語処理における実証的手法に関する2011年会議のまとめ 62-72頁。
0.76
英語(論文から抽出)日本語訳スコア
Ryan McDonald and Giorgio Satta. ライアン・マクドナルドとジョルジオ・サッタ 0.59
2007. On the complexity of non-projective data-driven dependency parsing. 2007. 非射影データ駆動依存解析の複雑さについて 0.73
In Proceedings of the Tenth International Conference on Parsing Technologies, pages 121– 132. 第10回解析技術国際会議の議事録121-132頁。 0.56
J¨org Tiedemann. ヨルダン・ティエデマン。 0.38
2015. Cross-lingual dependency parsing with universal dependencies and predicted PoS In Proceedings of the Third International labels. 2015. 普遍的な依存関係を解析し、第三国際ラベルのPoS In Proceedingsを予測します。 0.74
Conference on Dependency Linguistics (Depling 2015), pages 340–349. Conference on Dependency Linguistics (Depling 2015) 340–349頁。 0.85
Dingquan Wang and Jason Eisner. Dingquan WangとJason Eisner。 0.79
2018. Synthetic data In Proceedmade to order: The case of parsing. 2018. synthetic data In Proceedmade to order: the case of parsing。 0.79
ings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 1325–1337. ings of the 2018 conference on empirical methods in natural language processing, pages 1325–1337。 0.85
Daniel Zeman and Philip Resnik. ダニエル・ゼマンとフィリップ・レスニク。 0.67
2008. Crosslanguage parser adaptation between related languages. 2008. 関連言語間のクロス言語パーサー適応。 0.81
In Proceedings of the IJCNLP-08 Workshop on NLP for Less Privileged Languages. IJCNLP-08ワークショップ「NLP for Less Privileged Languages」に参加して 0.82
Meishan Zhang, Yue Zhang, and Guohong Fu. Meishan Zhang、Yue Zhang、およびGuohong Fu。 0.76
2019. Cross-lingual dependency parsing using code-mixed treebank. 2019. コードミックスツリーバンクを用いた言語間依存関係解析 0.71
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 996–1005. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 996–1005。 0.83
A Hyperparameter values Here we report the hyperparameter values for experiments presented in the paper. ハイパーパラメータ値 この論文で示した実験のハイパーパラメータ値について報告する。 0.78
Table 4 shows the hyperparameter values of our English source parser explained in Section 3.1. 表4は、セクション3.1で説明した英語ソースパーサのハイパーパラメータ値を示している。 0.62
Table 5 reports the tuned hyperparameter values for our experiments shown in Table 1, Fig. 表5 表1に示した実験の調整されたハイパーパラメータ値を報告します。 0.82
3, and Table 2. テーブル3とテーブル2。 0.67
Hyperparameter Sentence length cutoff Word embedding size POS tag embedding size Number of attention heads Number of Transformer layers Feedforward layer hidden size Attention key vector size Attention value vector size Dropout Dependency arc vector size Dependency label vector size Batch size Learning rate Early stopping patience ハイパーパラメータ 文長カットオフ ワード埋め込みサイズ POSタグ埋め込みサイズ 注目ヘッド数 トランスフォーマー層数 フィードフォワード層隠れサイズ キーベクトルサイズ 注意値ベクトルサイズ ドロップアウト 依存弧ベクトルサイズ バッチラベルベクトルサイズ バッチサイズ 学習速度 早期停止忍耐率 0.72
Value 100 300 50 10 6 512 64 64 0.2 512 128 80 10−4 50 Value 100 300 50 10 6 512 64 64 0.2 512 128 80 10−4 50 0.94
Table 4: Hyperparameter values of the source parser. 表4: ソースパーサのハイパーパラメータ値。 0.68
Tao Meng, Nanyun Peng, and Kai-Wei Chang. Tao Meng、Nanyun Peng、Kai-Wei Chang。 0.66
2019. language-aware constrained inference for Target In Proceedings cross-lingual dependency parsing. 2019. 言語認識によるTarget In Proceedingsの言語間依存性解析の制約 0.70
of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 1117–1128. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 1117–1128。 0.91
Joakim Nivre, Mitchell Abrams, Joakim Nivre、Mitchell Abrams、 0.78
ˇZeljko Agi´c, Universal dependencies 2.2. and et al. Zeljko Agi ́c, Universal dependencies 2.2. and et al。 0.70
2018. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics ( ´UFAL), Faculty of Mathematics and Physics, Charles University. 2018. LINDAT/CLARIAH-CZデジタルライブラリーは、チャールズ大学数学・物理学部フォーマル・アンド・アプライド言語学研究所(以下UFAL)です。
訳抜け防止モード: 2018. LINDAT / CLARIAH - CZ Digital Library at the Institute of Formal and Applied Linguistics ( ́ UFAL) チャールズ大学数学物理学科教授。
0.83
Mark A Paskin. パスキンをマークする。 0.53
2001. Cubic-time parsing and learn- 2001. 立方体時間解析と学習 0.74
ing algorithms for grammatical bigram models. 文法的bigramモデルのためのingアルゴリズム。 0.65
Afshin Rahimi, Yuan Li, and Trevor Cohn. Afshin Rahimi、Yuan Li、Trevor Cohn。 0.61
2019. MasIn Proceedsively multilingual transfer for NER. 2019. MasIn Procesively multilingual transfer for NER 0.74
ings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 151–164. 57th Annual Meeting of the Association for Computational Linguistics, page 151–164。 0.80
Mohammad Sadegh Rasooli and Michael Collins. Mohammad Sadegh RasooliとMichael Collins。 0.82
2019. Low-resource syntactic transfer with unsupervised source reordering. 2019. 教師なしソースリオーダーによる低リソースシンタクティック転送。 0.70
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 3845–3856. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 3845–3856。 0.77
Alexander Rush. アレクサンドル・ラッシュ。 0.69
2020. Torch-struct: Deep structured In Proceedings of the 58th anprediction library. 2020. Torch-struct: 58番目の予測ライブラリのProceedingsで深い構造化。 0.79
nual meeting of the association for computational linguistics: System demonstrations, pages 335–342. the association for computational linguistics: system demonstrations, pp. 335–342。 0.72
David A. Smith and Noah A. Smith. デイヴィッド・A・スミスとノア・A・スミス。 0.41
2007. Probabilistic models of nonprojective dependency trees. 2007. 非射影依存性ツリーの確率モデル。 0.76
In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pages 132–140. 2007年の自然言語処理と計算自然言語学習における実証的方法に関する合同会議(EMNLP-CoNLL)の進行において、132-140ページ。
訳抜け防止モード: 自然言語処理における実証的手法に関する2007年合同会議の開催報告 and Computational Natural Language Learning (EMNLP - CoNLL ) 132–140ページ。
0.82
Samuel L. Smith, David H. P. Turban, Steven Hamblin, and Nils Y. Hammerla. サミュエル・L・スミス、デイヴィッド・H・P・ターバン、スティーブン・ハンブリン、ニルス・Y・ハマーラ。 0.44
2017. Offline bilingual word vectors, orthogonal transformations and the inverted softmax. 2017. オフラインのバイリンガル語ベクトル、直交変換、反転ソフトマックス。 0.75
In International Conference on Learning Representations. International Conference on Learning Representationsに参加。 0.87
Anders Søgaard. Anders Søgaard 0.57
2020. Some languages seem easier In Proceedto parse because their treebanks leak. 2020. Proceedtoではツリーバンクが漏れるため、いくつかの言語が解析しやすいようです。 0.70
ings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2765–2770. 自然言語処理の実証的方法に関する2020会議(EMNLP)、ページ2765-2770のings。 0.74
Oscar T¨ackstr¨om, Ryan McDonald, and Joakim Nivre. オスカー・T・シャックストローム、ライアン・マクドナルド、ジョアキム・ニヴル。 0.44
2013. Target language adaptation of discriminative In Proceedings of the 2013 Contransfer parsers. 2013. 2013年コントランスファー・パーサーにおける差別的推論のターゲット言語適応 0.82
ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 1061–1071. 北米コンピュータ言語協会(Association for Computational Linguistics: Human Language Technologies)第1061-1071章の引用。 0.79
英語(論文から抽出)日本語訳スコア
Hyperparameter Value ハイパーパラメータ 価値 0.67
Nearby Distant Sentence length cutoff Learning rate L2 coefficient (λ) 周辺 遠く 文長カットオフ学習率L2係数(λ) 0.69
ST 60 5.6 × 10−4 3 × 10−4 ST 60 5.6 × 10−4 3 × 10−4 0.76
PPT Learning rate L2 coefficient (λ) PPT 学習率L2係数(λ) 0.87
Learning rate L2 coefficient (λ) 学習率L2係数(λ) 0.89
3.8 × 10−5 0.01 PPTX/PPTX-LOO 2.1 × 10−5 0.079 3.8 × 10−5 0.01 PPTX/PPTX-LOO 2.1 × 10−5 0.079 0.45
Learning rate L2 coefficient (λ) 学習率L2係数(λ) 0.89
Learning rate L2 coefficient (λ) 学習率L2係数(λ) 0.89
PPTX-REPR 1.7 × 10−5 4 × 10−4 PPTX-REPR 1.7 × 10−5 4 × 10−4 0.61
PPTX-PRAG 4.4 × 10−5 2.7 × 10−4 PPTX-PRAG 4.4 × 10−5 2.7 × 10−4 0.57
Projective PPT プロジェクティブPPT 0.64
Sentence length cutoff Learning rate L2 coefficient (λ) 文長カットオフ学習率L2係数(λ) 0.82
Sentence length cutoff Learning rate L2 coefficient (λ) 文長カットオフ学習率L2係数(λ) 0.82
20 10−4 7.9 × 10−4 Projective PPTX-PRAG 20 9.4 × 10−5 2.4 × 10−4 20 10−4 7.9 × 10−4 Projective PPTX-PRAG 20 9.4 × 10−5 2.4 × 10−4 0.57
60 3.7 × 10−4 2.8 × 10−4 60 3.7 × 10−4 2.8 × 10−4 0.59
2 × 10−5 0.39 2 × 10−5 0.39 0.65
5.9 × 10−5 1.2 × 10−4 5.9 × 10−5 1.2 × 10−4 0.55
9.7 × 10−5 0.084 9.7 × 10−5 0.084 0.53
8.5 × 10−5 2.8 × 10−5 8.5 × 10−5 2.8 × 10−5 0.55
20 10−4 7.9 × 10−4 20 10−4 7.9 × 10−4 0.59
20 9.4 × 10−5 2.4 × 10−4 20 9.4 × 10−5 2.4 × 10−4 0.59
Table 5: Hyperparameter values of ST, PPT, PPTX, PPTX-REPR, PPTX-PRAG, projective PPT, and projective PPTX-PRAG. 表5:ST, PPT, PPTX, PPTX-REPR, PPTX-PRAG, 射影PPT, 射影PPTX-PRAGのパラメータ値。 0.86
Sentence length cutoff for PPT, PPTX, PPTX-REPR, and PPTX-PRAG is 30, as explained in Section 3.1. PPT, PPTX, PPTX-REPR, PPTX-PRAGの文長カットオフは30である。 0.56
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。