論文の概要、ライセンス

# (参考訳) 外部リソースを用いたシーケンシャル・トゥ・シーケンス・ニューラル・レムマティゼーションの強化 [全文訳有]

Enhancing Sequence-to-Sequence Neural Lemmatization with External Resources ( http://arxiv.org/abs/2101.12056v1 )

ライセンス: CC BY 4.0
Kirill Milintsevich and Kairit Sirts(参考訳) 本稿では,外部レキシコンやルールベースシステムから抽出した補題を用いて,seq2seqニューラルモデルを拡張した新たな補間手法を提案する。 トレーニング中、強化されたlemmatizerは、シーケンシャルデコーダを介して補題を生成し、実行時に供給される外部候補からの補題文字をコピーすることの両方を学ぶ。 Apertium morphological analysisr から抽出した候補で強化された補間器は、追加の補間情報を使用しないベースラインモデルと比較して統計的に有意な改善を達成し、同じ言語群におけるスタンフォード・スタンザモデルよりも0.55%高い23のUD言語に対して平均精度97.25%を達成する。 また、外部データを補間化に統合する他の手法と比較し、Stanzaシステムに基づく単純な辞書拡張手法よりも大幅に性能が向上し、補間的な改善を実現していることを示す。 データ増強法です

We propose a novel hybrid approach to lemmatization that enhances the seq2seq neural model with additional lemmas extracted from an external lexicon or a rule-based system. During training, the enhanced lemmatizer learns both to generate lemmas via a sequential decoder and copy the lemma characters from the external candidates supplied during run-time. Our lemmatizer enhanced with candidates extracted from the Apertium morphological analyzer achieves statistically significant improvements compared to baseline models not utilizing additional lemma information, achieves an average accuracy of 97.25% on a set of 23 UD languages, which is 0.55% higher than obtained with the Stanford Stanza model on the same set of languages. We also compare with other methods of integrating external data into lemmatization and show that our enhanced system performs considerably better than a simple lexicon extension method based on the Stanza system, and it achieves complementary improvements w.r.t. the data augmentation method.
公開日: Thu, 28 Jan 2021 15:14:20 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Enhancing Sequence-to-Sequence Neural Lemmatization with External 外部を用いたシーケンシャル・トゥ・シーケンス・ニューラル・レムマティゼーションの強化 0.57
Resources Kirill Milintsevich 資源 Kirill Milintsevich 0.81
Institute of Computer Science University of Tartu 計算機科学研究所 タルトゥ大学 0.74
Tartu, Estonia エストニアのタルトゥ 0.54
Kairit Sirts Kairit (複数形 Kairits) 0.32
Institute of Computer Science University of Tartu 計算機科学研究所 タルトゥ大学 0.74
Tartu, Estonia エストニアのタルトゥ 0.54
kirill.milintsevich@ ut.ee kirill.milintsevich@ ut.ee 0.59
kairit.sirts@ut.ee kairit.sirts@ut.ee 0.59
1 2 0 2 n a J 1 2 0 2 n a J 0.85
8 2 ] L C . 8 2 ] L C。 0.78
s c [ 1 v 6 5 0 2 1 sc [ 1 v 6 5 0 2 1 0.68
. 1 0 1 2 : v i X r a . 1 0 1 2 : v i X r a 0.85
Abstract We propose a novel hybrid approach to lemmatization1 that enhances the seq2seq neural model with additional lemmas extracted from an external lexicon or a rule-based system. 概要 本研究では,seq2seqの神経モデルに外部のレキシコンや規則に基づくシステムから抽出した補題を付加する,新規な補題化手法を提案する。 0.56
During training, the enhanced lemmatizer learns both to generate lemmas via a sequential decoder and copy the lemma characters from the external candidates supplied during run-time. トレーニング中、強化されたlemmatizerは、シーケンシャルデコーダを介して補題を生成し、実行時に供給される外部候補からの補題文字をコピーすることの両方を学ぶ。 0.59
Our lemmatizer enhanced with candidates extracted from the Apertium morphological analyzer achieves statistically significant improvements compared to baseline models not utilizing additional lemma information, achieves an average accuracy of 97.25% on a set of 23 UD languages, which is 0.55% higher than obtained with the Stanford Stanza model on the same set of languages. Apertium morphological analysisr から抽出した候補で強化された補間器は、追加の補間情報を使用しないベースラインモデルと比較して統計的に有意な改善を達成し、同じ言語群におけるスタンフォード・スタンザモデルよりも0.55%高い23のUD言語に対して平均精度97.25%を達成する。 0.78
We also compare with other methods of integrating external data into lemmatization and show that our enhanced system performs considerably better than a simple lexicon extension method based on the Stanza system, and it achieves complementary improvements w.r.t. また、外部データを補間化に統合する他の手法と比較し、Stanzaシステムに基づく単純な辞書拡張手法よりも大幅に性能が向上し、補間的な改善を実現していることを示す。 0.76
the data augmentation method. Introduction データ増強法です はじめに 0.52
1 State-of-the-art lemmatization systems are based on attentional sequence-to-sequence neural architectures operating on characters that transform the surface word form into its lemma (Kanerva et al., 2018; Qi et al., 2018). 1 state-of-the-art lemmatization systemは、表層単語を補題に変換する文字で動作する注意シーケンスからシーケンスへのニューラルネットワークアーキテクチャに基づいている(kanerva et al., 2018; qi et al., 2018)。 0.71
Like any other supervised learning model, these systems are dependent on the amount and quality of the existing training data. 他の教師付き学習モデルと同様に、これらのシステムは既存のトレーニングデータの量と品質に依存する。 0.81
Attempts to develop even more accurate lemmatization systems can focus on improving the model’s architecture or obtaining additional data. より正確な補題化システムを開発する試みは、モデルのアーキテクチャの改善や追加データ取得に集中することができる。 0.79
While annotating additional data is an ongoing process for many smaller languages in the Universal Dependencies (UD) collection, there are also other data 追加データのアノテートは、Universal Dependencies (UD) コレクション内の多くの小さな言語で進行中のプロセスであるが、他のデータもある。 0.79
1https://github.com/ 501Good/ lexicon-enhanced-lem matization 1https://github.com/ 501good/ lexicon-enhanced-lem matization 0.32
sources available that can be useful for improving lemmatization systems. 補間システムを改善するのに役立つソースを提供する。 0.66
In particular, we refer to existing rule-based morphological analyzers, lexicons, and other such resources. 特に,既存の規則に基づく形態解析器,レキシコン,その他の資源について述べる。 0.68
Three potential sources for extracting additional lemma candidates are Apertium, Unimorph, and UD Lexicons initiatives. 追加の補題候補を抽出するための3つの潜在的なソースは、Apertium、Unimorph、UD Lexiconsイニシアチブです。 0.59
Apertium2 is an opensource rule-based machine translation platform (Forcada et al., 2011). Apertium2はオープンソースのルールベースの機械翻訳プラットフォームである(Forcada et al., 2011)。 0.74
It also includes rule-based morphological analyzers based on finite-state transducers that cover 80 languages. 80言語をカバーする有限状態トランスデューサに基づく規則に基づく形態素解析も含んでいる。 0.68
Unimorph3 is a project aimed at collecting annotated morphological inflection data, including lemmas, from Wiktionary (Kirov et al., 2016), a free open dictionary for many languages. Unimorph3は、多くの言語のためのフリーオープン辞書であるWiktionary(Kirov et al., 2016)から、補題を含む注釈付き形態素変換データを収集することを目的としたプロジェクトです。 0.72
Currently, the Unimorph project covers 110 languages. 現在、Unimorphプロジェクトは110言語をカバーしている。 0.69
UD Lexicons4 is a collection of 53 morphological lexicons in CoNLL-UL format covering 38 languages. UD Lexicons4は、38言語をカバーするCoNLL-UL形式の53の形態学的辞書のコレクションです。 0.64
UD Lexicons mostly use Apertium and Giellatekno systems to generate the annotations (Sagot, 2018). UD Lexiconsは、主にApertiumとGiellateknoシステムを使用してアノテーションを生成します(Sagot、2018)。 0.74
Several previous works have proposed methods to improve lemmatization systems by augmenting the training data with additional instances (Bergmanis and Goldwater, 2019; Kanerva et al., 2020). 以前のいくつかの研究は、トレーニングデータを追加のインスタンスで拡張することで補間システムを改善する方法を提案している(bergmanis and goldwater, 2019; kanerva et al., 2020)。 0.67
In this paper, we propose another approach that both modifies the model architecture and leverages additional data. 本稿では,モデルアーキテクチャを改良し,付加的なデータを活用するアプローチを提案する。 0.77
Unlike previous work where the model gains from extracting extra knowledge from the additional data provided for training, our primary goal is to teach the model to use external resources, even those that may only be available later during test time. モデルがトレーニングのために提供される追加のデータから余分な知識を抽出することから得られる以前の仕事とは異なり、私たちの主な目標は、モデルに外部リソースを使用するように教えることです。 0.76
In particular, the proposed system is a dual-encoder model, which receives two inputs for each word: 1) the word form itself to be lemmatized and 2) (optionally) the lemma candidates for that word form extracted from a lexicon or generated by a rule-based system. 特に,提案システムは,各単語に対して2つの入力を受信する二重エンコーダモデルである。1) 単語形式自体を補題化し,2) 辞書から抽出した単語形式の補題候補,あるいはルールベースシステムによって生成された補題候補である。 0.87
Both inputs are encoded 2https://www.apertiu m.org 3http://unimorph.org / 4http://atoll.inria. fr/~sagot/ 両方の入力は 2https://www.apertiu m.org 3http://unimorph.org / 4http://atoll.inria. fr/~sagot/ 0.45
英語(論文から抽出)日本語訳スコア
with two different encoders and passed to the decoder. 2つの異なるエンコーダでデコーダに渡されます。 0.76
The decoder then learns via two separate attentional mechanisms to generate the lemma via the combination of the regular transduction and by copying characters from the external candidates. 次にデコーダは、2つの異なる注意機構を介して学習し、正規変換と外部候補から文字をコピーすることで補題を生成する。 0.72
This way, the model is trained to use two sources of information–the regular training set and the options proposed by an external resource. このように、モデルは2つの情報源(通常のトレーニングセットと外部リソースによって提案されるオプション)を使用するように訓練される。 0.71
The experiments with several models enhanced with external data on 23 UD languages show that the best model using additional lemma candidates generated by the Apertium system achieves significantly higher results than the baseline models trained on the UD training set only. 23のUD言語の外部データで強化されたいくつかのモデルによる実験により、Apertiumシステムによって生成された補題候補を用いた最良のモデルは、UDトレーニングセットでトレーニングされたベースラインモデルよりもはるかに高い結果が得られることが示された。 0.69
Also, we compare our method with other methods using external data. また,本手法を外部データを用いて他の手法と比較する。 0.78
The enhanced system performs considerably better than a simple lexicon extension method based on the Stanza system, and it achieves complementary improvements w.r.t. 拡張システムは、Stanzaシステムに基づく単純な辞書拡張法よりもかなり優れており、補完的な改善をw.r.t.達成している。
訳抜け防止モード: 拡張システムは、Stanzaシステムに基づく単純な語彙拡張法よりもかなり優れている。 w.r.t.を補完的に改善し
0.69
the data augmentation method of Kanerva et al. Kanerva et al.のデータ拡張方法 0.61
(2020). 2 Related Works (2020). 関連作品2件 0.82
Nowadays, state-of-the-art lemmatization systems are typically based on a neural sequence-tosequence architecture, as demonstrated by the variety of systems presented at the CoNLL 2018 (Zeman et al., 2018) and SIGMORPHON 2019 (McCarthy et al., 2019) shared tasks. CoNLL 2018 (Zeman et al., 2018) と SIGMORPHON 2019 (McCarthy et al., 2019) で示されたさまざまなシステムで示されるように、今日の最先端の補題化システムは一般的に、ニューラルシークエンスアーキテクチャに基づいている。 0.70
Several systems, including the TurkuNLP pipeline, the winner of the lemmatization track at CoNLL 2018 Shared task, use an attention-based translation model (Kanerva et al., 2018; Qi et al., 2018). CoNLL 2018 Shared Task の補題化トラックの勝者である TurkuNLP パイプラインを含むいくつかのシステムは、注意に基づく翻訳モデルを使用している(Kanerva et al., 2018; Qi et al., 2018)。 0.81
The input to the system is the character sequence of a surface form (SF), which is “translated" into the lemma by an attention-based decoder. システムへの入力は、注意ベースのデコーダによって補題に「翻訳」される表面形態(SF)の文字列である。 0.72
The input sequence can also be extended with POS tags (Qi et al., 2018) and morphological features (Kanerva et al., 2018). 入力シーケンスはPOSタグ(Qi et al., 2018)と形態学的特徴(Kanerva et al., 2018)で拡張することもできる。 0.77
Another approach was used by the UDPipe Future system, the second-best model at the CoNLL 2018 Shared Task. もうひとつのアプローチは、CoNLL 2018 Shared Taskの2番目のベストモデルであるUDPipe Futureシステムである。 0.71
Straka (2018) proposed to produce a lemma by constructing a set of rules that transform the SF into a lemma. Straka (2018) はSFを補題に変換する一連の規則を構築して補題を作成することを提案した。 0.76
These rules can include copying, moving, or deleting a character in the SF, as well as additional rules for changing or preserving the casing. これらのルールには、SF内の文字のコピー、移動、削除、およびケーシングの変更または保存のための追加ルールが含まれます。 0.63
Thus, the lemmatization task is rendered into a multi-class classification task of choosing the correct transformation rule among the set of all possible rules generated from the training set. これにより、補間作業は、トレーニングセットから生成された可能なすべてのルールのうち、正しい変換ルールを選択するマルチクラス分類タスクに変換される。 0.75
A year later, Straka et al. 1年後、Straka et al。 0.58
(2019) improved the result for the lemmatization by adding BERT contextual embeddings (Devlin et al., 2019) to the input, which (2019) 入力に BERT コンテキスト埋め込み (Devlin et al., 2019) を付加することにより, 補題化の結果を改善した。 0.85
made them the best lemmatization system at the SIGMORPHON 2019 Shared Task. SIGMORPHON 2019 Shared Taskで最高の補綴システムになりました。 0.66
Several previous works have proposed to leverage additional data to improve lemmatization. 以前のいくつかの研究は、補題化を改善するために追加のデータを活用することを提案した。 0.41
In the simplest form, training data itself can be used to create a lexicon that maps word forms to its lemma. 最も単純な形式では、トレーニングデータ自体を使用して、単語形式を補題にマッピングする語彙を作成することができる。 0.67
This strategy has been adopted by the Stanford neural lemmatization system (Qi et al., 2018), which creates such lexicons from the training sets and resorts to lemma generation only when the lexicon lookup fails. この戦略は、Stanford Neural lemmatization System (Qi et al., 2018)によって採用され、トレーニングセットからそのようなレキシコンを生成し、レキシコンのルックアップが失敗した場合にのみ、レキシコンを生成する。 0.59
One can easily imagine extending such a lexicon with external resources. そのような語彙を外部資源で拡張することが容易に想像できる。 0.67
Rosa and Mareček (2018) adopted another simple way of using Unimorph lexicons to post-fix the morphological features and lemmas predicted by the UDPipe system (Straka and Straková, 2017). Rosa and Mareček (2018) は、UDPipeシステムによって予測される形態的特徴と補題を補足するために、Unimorph lexicons を用いる別の簡単な方法を採用した(Straka and Straková, 2017)。 0.73
The post-fix is performed by simply looking up the SF from the Unimorph lexicon and, if the match is found, replacing the model prediction with the tags and lemmas found in the lexicon. ポストフィックスは、単にUnimorphのlexiconからSFを調べ、マッチが見つかった場合は、モデル予測をlexiconで見つかったタグとlemmaに置き換えることによって行われます。 0.65
Another line of work has used additional data to augment the training data set. 別の作業では、トレーニングデータセットの強化に追加データを使用している。 0.69
Bergmanis and Goldwater (2019) augmented their training set by first listing all non-ambiguous word-lemma pairs from Unimorph lexicons and then extracted sentences from Wikipedia that contained these words. Bergmanis と Goldwater (2019) は、Unimorph lexicons からすべての曖昧でない単語補題をリストアップし、これらの単語を含むウィキペディアから文章を抽出することで、トレーニングセットを強化した。 0.67
They then trained the context-sensitive Lematus model (Bergmanis and Goldwater, 2018) on this extended partially lemmatized data set. その後、コンテキストに敏感なLematusモデル(Bergmanis and Goldwater, 2018)をトレーニングし、この拡張された部分的にlemmatizedデータセットを訓練した。 0.55
Kanerva et al. (2018) used Apertium’s morphological analyzer module to extend the training set for languages with tiny UD datasets. Kanervaら。 (2018)は、Apertiumのモルフォロジーアナライザモジュールを使用して、小さなUDデータセットを持つ言語のためのトレーニングセットを拡張した。
訳抜け防止モード: Kanervaら。 (2018) Apertium のモルフォロジー解析モジュールを用いた。 UDデータセットを小さくした言語のためのトレーニングセットを拡張する。
0.65
Apertium was used to generate all possible morphological analyses to 5000 sentences selected from the Wikipedia of the respective language. アペルチウムは、各言語のウィキペディアから選択された5000の文に可能なすべての形態学的分析を生成するために使用された。 0.56
For each sentence, the most likely analysis sequence was then obtained via a disambiguating language model. 各文について、最も可能性の高い解析シーケンスは曖昧な言語モデルによって得られた。 0.67
The words that were assigned an Apertiumgenerated lemma during this process were added to the lemmatizer training set. この過程でアペルチウム生成の補題が割り当てられた単語は、レマタイザー訓練セットに追加された。 0.68
In the subsequent work, Kanerva et al. その後の作品では、Kanerva et al。 0.63
(2020) extended the training data even more. (2020) はトレーニングデータをさらに拡張した。 0.83
They used Apertium to analyze all words found in the CoNLL 2017 web crawl dataset (Ginter et al., 2017) or in the Wikipedia of the respective language. 彼らはapertiumを使って、conll 2017 web crawlデータセット(ginter et al., 2017)やwikipediaの各言語のすべての単語を分析した。 0.80
All new words with unambiguous lemma and morphological analysis were added to the augmented training set. 拡張トレーニングセットには,不明瞭なレムマと形態学的解析を含む新しい単語が加えられた。 0.61
3 Method The core of the proposed model is the Stanford lemmatizer (Qi et al., 2018, 2020) which is a sequenceto-sequence model with attention. 3方法 提案モデルの中核となるのは、注目されたシーケンスモデルであるStanford lemmatizer(Qi et al., 2018, 2020)である。 0.81
It takes character- 文字を取ります。 0.44
英語(論文から抽出)日本語訳スコア
cons from the Unimorph project (Kirov et al., 2016), UD Lexicons (Sagot, 2018), and lemmas generated with the Apertium morphological analyzer module (Forcada et al., 2011) are used. Unimorphプロジェクト(Kirov et al., 2016)、UD Lexicons(Sagot, 2018)、およびApertium morphological analyzerモジュール(Forcada et al., 2011)で生成された補題が使用される。 0.79
We also experiment with the lexicon constructed from the training set to simulate the situation when no additional data is available—this scenario assesses the effect of the second encoder without external data. また、トレーニングセットから構築されたレキシコンを用いて、追加データがない場合の状況をシミュレートし、このシナリオは外部データなしで第2エンコーダの効果を評価する。 0.76
The experiments are conducted on 23 languages from the UD collection. 実験はUDコレクションから23の言語で行われます。 0.80
The basis of this selection was that all these languages are supported by both Unimorph, UD Lexicons, and Apertium. この選択の基盤は、全ての言語がUnimorph、UD Lexicons、Apertiumの両方でサポートされていることである。 0.76
To extract lemmas from the Unimorph lexicon, the input surface form (SF) is queried from the lexicon to retrieve the corresponding lemma. 一様レキシコンから補題を抽出するために、入力表面形態(SF)をレキシコンからクエリして対応する補題を取り出す。 0.53
Some morphological forms in the Unimorph lexicons consist of several space-separated tokens; these were discarded. 一様レキシコンのいくつかの形態形態は、いくつかの空間分離されたトークンからなるが、これらは破棄された。
訳抜け防止モード: 一様語彙におけるいくつかの形態形式は、いくつかの空間-分離されたトークンから構成される 廃棄された。
0.44
UD Lexicons are presented in the CoNLL-UL format, which is an extension of the CoNLL-U format. UD Lexiconsは、CoNLL-U形式の拡張であるCoNLL-UL形式で提示されます。 0.76
This makes the extraction process trivial since the lexicons are already pretokenized. これにより、レキシコンが既に予測されているため、抽出プロセスは自明になる。 0.49
For Apertium, all generated lemmas were stripped from special annotation symbols, and duplicate lemmas were removed. アペルティウムの場合、生成された全ての補題は特別な注釈記号から取り除かれ、重複補題は取り除かれた。 0.54
Finally, the simple training set based lexicon solution, similar to Qi et al. 最後に、Qi et alに似た簡単なトレーニングセットベースの辞書ソリューション。 0.76
(2018), consists of two lookup dictionaries. (2018)は2つの辞書からなる。 0.80
The first lexicon maps SF-POS pairs to their lemmas, the second lexicon maps just SF’s to their possible lemmas found in the training set. 最初のlexiconはSF-POSのペアを彼らのlemmaにマップし、2番目のlexiconはトレーニングセットにある可能性のあるlemmaにSF'sだけをマップします。 0.56
The lemma candidates for a SF are selected by first querying the input SF and POS tag from the SFPOS dictionary and, in case of failure, falling back to the SF dictionary. SFの補題候補は、まずSFPOS辞書から入力SFとPOSタグをクエリし、故障した場合はSF辞書にフォールバックすることで選択される。 0.70
Baselines As the first baseline, we compare our results with Stanza, the lemmatization module from the Stanza pipeline (Qi et al., 2020), which is a repackaging of the Stanford lemmatization system from the CoNLL 2018 Shared Task (Qi et al., 2018). ベースライン最初のベースラインとして、Stanzaパイプライン(Qi et al., 2020)のlemmatizationモジュールであるStanzaと結果を比較します。これは、CoNLL 2018 Shared Task(Qi et al., 2018)からのStanfordlemmatizatio nシステムの再パッケージです。 0.66
We used the lemmatization models trained on the UDv2.5 available on the Stanza web page. Stanza の Web ページで利用可能な UDv2.5 で訓練されたlemmatization モデルを使用しました。 0.67
As the Default baseline, we use our enhanced model, with the second encoder always being empty. デフォルトベースラインとして、拡張モデルを使用し、2番目のエンコーダは常に空です。 0.68
Experimental Setup We train four enhanced dual-encoder models that differ in the input to the second encoder. 実験的なセットアップ 第2エンコーダへの入力が異なる4つの拡張デュアルエンコーダモデルを訓練する。 0.74
For all models, the input to the first encoder is the concatenation of SF characters, POS tag, and morphological features. すべてのモデルに対して、最初のエンコーダへの入力はSF文字、POSタグ、形態的特徴の連結である。 0.70
During the training phase, gold POS tags and morphological features are supplied, while during inference, POS tags predicted with the Stanza tagger are used. トレーニング段階では金のPOSタグと形態的特徴が供給され、推論中にStanzaタグで予測されるPOSタグが使用される。 0.70
The input to the second encoder is the following: for the 2番目のエンコーダへの入力は以下のとおりである。 0.84
Figure 1: The architecture of the dual-encoder enhanced lemmatizer. 図1: dual-encoder enhanced lemmatizer のアーキテクチャ。 0.75
Layers that comprise the original Stanza lemmatizer are marked with a bold red border. オリジナルのスタンザレンマタイザーを構成する層は、大胆な赤い境界でマークされている。 0.57
level word representation and the POS tag as input and processes them with a bidirectional LSTM encoder. レベルワード表現とPOSタグを入力として、双方向LSTMエンコーダで処理します。 0.78
Then, it passes the encoder outputs to an LSTM decoder, which applies a soft dot attention layer after every LSTM cell. その後、エンコーダはLSTMデコーダに出力され、LSTMセルごとにソフトドットの注意層が適用されます。 0.80
Finally, the output is constructed via greedy decoding. 最後に、出力はgreedyデコードによって構成される。 0.74
We make several changes to the model architecture as shown in Figure 1. 図1に示すように、モデルアーキテクチャにいくつかの変更を加えます。 0.69
The components comprising the original Stanford lemmatizer are marked on the figure with the bold red border. 元のスタンフォードのlemmatizerで構成される部品は、大胆な赤いボーダーで図にマークされています。 0.57
First, we add another encoder that encodes the lemma candidates provided by the external system. まず、外部システムが提供する補題候補をエンコードする別のエンコーダを追加します。 0.75
The output representations of both encoders are combined with a linear layer and fed to the decoder. 両方のエンコーダの出力表現は線形層と結合され、デコーダに供給される。 0.78
Secondly, we add another attention layer to the decoder that attends to the outputs of the second encoder. 次に、第2エンコーダの出力に対応するデコーダに別の注意層を追加します。 0.77
The outputs are finally combined with a linear layer. 出力は最終的に線形層と結合される。 0.87
Finally, in addition to the POS tag, we also add morphological features to the first encoder’s input. 最後に、POSタグに加えて、最初のエンコーダの入力に形態的特徴を追加します。 0.64
Additionally, we implement the encoder dropout to simulate the situation when the external candidates are absent. さらに、外部候補が欠席している状況をシミュレートするためにエンコーダのドロップアウトを実装します。 0.68
The value of the encoder dropout that varies in the range of {0.0, 1.0} defines the probability of discarding all candidates from a batch during training. {0.0, 1.0}の範囲で変化するエンコーダドロップアウトの値は、トレーニング中にすべての候補をバッチから破棄する確率を定義する。 0.79
Thus, the model will train only the main encoder based on this batch. したがって、このモデルはこのバッチに基づいてメインエンコーダのみをトレーニングする。 0.76
This helps to train the model to perform more robustly in both situations when the candidates in the second encoder are present or absent. これにより、第2エンコーダの候補が存在するか欠席している場合、両方の状況でモデルをより堅牢に実行するようにトレーニングすることができる。 0.56
4 Experiments Data The models are trained and tested on the Universal Dependencies (UD) v2.5 corpora (Zeman et al., 2019). 4 実験データ モデルはUniversal Dependencies (UD) v2.5 corpora (Zeman et al., 2019)でトレーニングおよびテストされる。 0.84
As additional external data, the lexi- 外部データとして、lexi- 0.78
HinHcnhin+cncin+cnoutputSFPOSFEATSca ndidateBiLSTMEncoder EncoderDecoderhinhcn cinccnLSTMAttentionA ttentionLinearBiLSTM EncoderLinearLinearB iLSTMEncoderLinearBi LSTMEncoderBiLSTMEnc oderLSTMAttentionAtt entionLinearh - hidden state for the last timestepc - cell state for the last timestepH - hidden states from the last layer for all timestepsin - state(s) for the encoded SF-POS-FEATScn - state(s) for the encoded candidates HinHcnhin+cncin+cnoutputSFFEATScandi dateBiLSTMEncoderEnc oderDecoderhinhcncin ccnLSTMAttentionRete ntionLinearBiLSTMEnc oderLinearLiLSTMEnco derLinearBiLSTMEncod erBiLSTMEncoderLSTMA ttentionAttentionLin earh - 最後のタイムステップのセル状態 - 最後のタイムステップのセル状態 - 最後のレイヤから隠された状態 - 暗号化されたSF-POS-FEATScn - 状態。 0.23
英語(論文から抽出)日本語訳スコア
Treebank Size ツリーバンク サイズ 0.73
Def Lex All words デフ レックス 全語 0.56
Uni Apt Stanza Def ユニ 付録 スタンザ・デフ 0.46
Out-of-vocabulary Apt Diff OOV% 語彙外 付録 Diff OOV% 0.63
1,503K 98.51 98.66 98.67 98.55 cs_pdt ru_syntagrus 1,107K 97.82 97.92 98.00 98.11 547K 99.31 99.28 99.31 99.35 es_ancora 530K 98.85 98.83 98.83 98.89 ca_ancora 389K 98.05 98.07 98.10 98.13 fr_gsd 351K 98.77 98.71 98.71 98.80 hi_hdtb 287K 96.87 96.91 97.04 96.80 de_gsd 278K 98.19 98.39 98.31 98.48 it_isdt 254K 98.21 98.19 98.22 98.26 en_ewt 218K 98.33 98.28 98.32 98.53 ro_rrt 210K 98.24 98.20 98.23 98.32 pt_bosque 208K 97.08 96.61 96.89 96.74 nl_alpino 156K 97.97 98.20 98.17 98.07 bg_btb 138K 97.16 97.29 97.28 97.28 ur_udtb 126K 98.48 98.48 98.51 98.93 gl_ctg 122K 97.03 97.07 97.06 97.12 uk_iu 121K 96.48 96.62 96.63 96.68 eu_bdt 97.81 98.03 100K 97.87 da_ddt 96K 97.36 97.59 97.64 98.27 sv_talbanken 61K 96.84 97.06 97.25 97.38 el_gdt 56K 97.03 97.23 97.13 97.39 tr_imst 52K 95.55 95.84 94.87 96.01 hy_armtdp 13K 81.91 81.86 82.36 82.63 be_hse 97.04 97.09 97.10 97.25 Average 1,503K 98.51 98.66 98.67 98.55 cs_pdt ru_syntagrus 1,107K 97.82 97.92 98.00 98.11 547K 99.31 99.28 99.31 99.35 es_ancora 530K 98.85 98.83 98.83 98.89 ca_ancora 389K 98.05 98.07 98.10 98.13 fr_gsd 351K 98.77 98.71 98.71 98.80 hi_hdtb 287K 96.87 96.91 97.04 96.80 de_gsd 278K 98.19 98.39 98.31 98.48 it_isdt 254K 98.21 98.19 98.22 98.26 en_ewt 218K 98.33 98.28 98.32 98.53 ro_rrt 210K 98.24 98.20 98.23 98.32 pt_bosque 208K 97.08 96.61 96.89 96.74 nl_alpino 156K 97.97 98.20 98.17 98.07 bg_btb 138K 97.16 97.29 97.28 97.28 ur_udtb 126K 98.48 98.48 98.51 98.93 gl_ctg 122K 97.03 97.07 97.06 97.12 uk_iu 121K 96.48 96.62 96.63 96.68 eu_bdt 97.81 98.03 100K 97.87 da_ddt 96K 97.36 97.59 97.64 98.27 sv_talbanken 61K 96.84 97.06 97.25 97.38 el_gdt 56K 97.03 97.23 97.13 97.39 tr_imst 52K 95.55 95.84 94.87 96.01 hy_armtdp 13K 81.91 81.86 82.36 82.63 be_hse 97.04 97.09 97.10 97.25 Average 0.41
97.7 98.58 97.91 99.21 98.49 98.15 96.66 96.78 98.32 98.18 98.16 98.12 96.99 97.36 95.62 98.59 96.70 96.52 97.36 97.53 96.66 96.73 95.55 79.98 96.70 97.7 98.58 97.91 99.21 98.49 98.15 96.66 96.78 98.32 98.18 98.16 98.12 96.99 97.36 95.62 98.59 96.70 96.52 97.36 97.53 96.66 96.73 95.55 79.98 96.70 0.50
0.44 90.51 90.95 2.17 89.48 91.65 0.34 95.06 95.40 0.97 95.82 96.79 1.33 89.50 90.83 1.13 93.49 94.62 85.53 85.22 -0.31 1.94 90.28 92.22 0.39 90.10 90.49 91.46 93.22 1.76 93.15 94.27 1.12 86.34 84.88 -1.46 0.05 91.07 91.02 91.83 91.93 0.01 3.82 89.73 93.55 0.17 91.15 91.32 86.18 86.81 0.63 0.45 89.86 90.31 4.67 87.66 92.33 2.24 84.18 86.42 92.27 93.18 0.91 1.23 86.11 87.34 1.52 68.78 70.30 89.11 90.22 1.11 0.44 90.51 90.95 2.17 89.48 91.65 0.34 95.06 95.40 0.97 95.82 96.79 1.33 89.50 90.83 1.13 93.49 94.62 85.53 85.22 -0.31 1.94 90.28 92.22 0.39 90.10 90.49 91.46 93.22 1.76 93.15 94.27 1.12 86.34 84.88 -1.46 0.05 91.07 91.02 91.83 91.93 0.01 3.82 89.73 93.55 0.17 91.15 91.32 86.18 86.81 0.63 0.45 89.86 90.31 4.67 87.66 92.33 2.24 84.18 86.42 92.27 93.18 0.91 1.23 86.11 87.34 1.52 68.78 70.30 89.11 90.22 1.11 0.39
7.53 10.56 5.90 5.43 6.19 4.67 13.04 5.86 10.05 11.60 8.85 15.81 13.97 6.79 10.94 33.62 21.68 18.13 17.52 19.59 36.25 38.54 93.28 7.53 10.56 5.90 5.43 6.19 4.67 13.04 5.86 10.05 11.60 8.85 15.81 13.97 6.79 10.94 33.62 21.68 18.13 17.52 19.59 36.25 38.54 93.28 0.40
Table 1: Lemmatization accuracy of the models enhanced with training the set lexicon (Lex), Unimorph lexicon (Uni), and Apertium systems (Apt) as well as the Default (Def)and Stanza baselines on 23 UD languages. 表1:セットレキシコン(Lex)、ユニモルフレキシコン(Uni)、アペルチウムシステム(Apt)、および23のUD言語のデフォルト(Def)およびスタンザベースラインのトレーニングによって強化されたモデルの書式化精度。
訳抜け防止モード: 表1:設定辞書(Lex)の訓練により強化されたモデルの読み上げ精度 Unimorph lexicon (Uni) と Apertium system (Apt ) と Default (De Def) と Stanza は23のUD言語をベースラインとしている。
0.81
second baseline (Default), it is always empty; for the Lexicon, Unimorph, and Apertium enhanced models, it contains the lemma candidate(s) from the training set based lexicon, Unimorph lexicons, and Apertium analyses respectively. 第2のベースライン(デフォルト)は、常に空であり、Lexicon、Unimorph、およびApertium強化モデルの場合、トレーニングセットベースのlexicon、Unimorphlexicons、およびApertium分析からの補題候補をそれぞれ含みます。 0.73
If several possible candidates are returned for a SF, then these are concatenated. いくつかの候補がSFに返される場合、これらは連結される。 0.65
The encoder dropout for the Lexicon model is set to 0.8 to simulate the situation during testing for out-of-vocabulary (OOV) words where the second encoder will be empty. Lexiconモデルのエンコーダドロップアウトは0.8に設定され、第2エンコーダが空になるoo-of-vocabulary (OOV) ワードのテスト中の状況をシミュレートする。 0.79
All models were trained in the HPC at the University of Tartu (University of Tartu, 2018) for a maximum of 60 epochs with stopping early if there was no improvement in the development accuracy in 10 epochs. すべてのモデルはタルトゥ大学(タルトゥ大学、2018年)のhpcで最大60エポックのトレーニングを受け、10エポックで開発精度が改善されなかった場合、早期に停止した。 0.65
5 Results Table 1 shows the results for all three enhanced systems and two baselines. 5の結果表1は、3つの強化されたシステムと2つのベースラインの結果を示しています。 0.58
The Apertium model outperforms other models for most languages, although the absolute differences are quite small. Apertiumモデルは、多くの言語で他のモデルよりも優れているが、絶対差は非常に小さい。 0.74
The Lexicon model and the Default baseline are on the same level on average, suggesting that supplying the model with lemmas extracted from the training set via the second encoder does not help to leverage the training data better. あらすじ Lexiconモデルとデフォルトベースラインは平均同じレベルにあり、第2エンコーダを介してトレーニングセットから抽出された補題をモデルに提供することはトレーニングデータをよりよく活用するのに役立ちます。 0.55
However, all enhanced models, including the Default model, perform better than the Stanza baseline, suggesting that omitting the lexicon heuristics and supplying the input tokens with both POS and morphological features might improve performance. しかしながら、デフォルトモデルを含むすべての強化モデルは、Stanzaベースラインよりも優れた性能を示し、レキシコンヒューリスティックを省略し、POSおよび形態学的特徴の両方で入力トークンを供給することにより、性能が向上する可能性があることを示唆している。 0.59
One-way ANOVA was performed to detect statistical difference between the systems.5 A significant difference between the scores at the 𝑝 < 0.05 level (𝑝 = 0.038) was found. システム間の統計的差を検出するために一方方向のANOVAが実行された。5 p < 0.05 レベル (p = 0.038) におけるスコア間の有意な差が見つかった。 0.64
Post hoc comparisons using one-sided paired t-tests showed that the mean accuracy of the Apertiumenhanced model is significantly greater compared 5The results for be_hse were extreme outliers and were not included in the comparison. Apertiumenhancedモデルの平均精度は5よりも有意に大きいことが示された。be_hseの結果は極端な外れ値であり、比較には含まれていなかった。 0.70
The Unimorph-enhanced model was excluded from this test as its results did not conform to the normality requirement. 結果が正規性要件に適合しなかったため、Unimorph-enhancedモデルはこの試験から除外された。 0.73
英語(論文から抽出)日本語訳スコア
to the the Default (𝑝𝑎𝑑 𝑗 = 0.0005), Lexicon (𝑝𝑎𝑑 𝑗 < 0.0001), Unimorph (𝑝𝑎𝑑 𝑗 = 0.0001) and Stanza (𝑝𝑎𝑑 𝑗 < 0.0001) systems with the 𝑝-value adjusted for multiple comparisons using the Bonferroni correction. Default (pad j = 0.0005)、Lexicon (pad j < 0.0001)、Unimorph (pad j = 0.0001)、Stanza (pad j < 0.0001) システムに対して、Bonferroni補正を用いて複数の比較でp値が調整される。 0.83
As the baseline model performances are already very high and the external information is expected to improve the lemmatization most for the new words unseen during training, we computed the accuracy of the out-of-vocabulary words (OOV) for the best performing Apertium model and the Default baseline. ベースラインモデルのパフォーマンスは既に非常に高く、トレーニング中に見られない新しい単語の補語化を最も改善することが予想されているため、最高のパフォーマンスのApertiumモデルとデフォルトベースラインのための語彙外語(OOV)の精度を計算しました。 0.79
In this context, OOV words are those words in the test set that were not seen by the model during training. この文脈では、OOVワードはトレーニング中にモデルによって見られなかったテストセット内の単語です。 0.71
The results are shown in the right-most section of the Table 1. 結果は表1の一番右のセクションで示されます。 0.74
The improvements on the OOV words are variable, depending on the language, although on average, the improvement of the Apertium model over the Default baseline is more than 1%. OOVワードの改善は言語によって異なるが、平均すると、デフォルトベースラインに対するApertiumモデルの改善は1%以上である。 0.64
We hypothesize that the direction and the magnitude of these effects are dependent on the coverage and the quality of the Apertium morphological analyzer. 我々は,これらの効果の方向と大きさが,Apertium morphological analysisrのカバレッジと品質に依存すると仮定した。 0.84
6 Analysis of the Results In this section, we analyze more thoroughly the potential of the proposed method. 6 結果の分析 このセクションでは、提案手法の可能性をより徹底的に分析します。 0.81
First, we compare our enhanced system with alternative methods for deploying external data, particularly with the data augmentation method proposed by Kanerva et al. まず,拡張されたシステムと外部データを配置するための代替手法,特にkanervaらによって提案されたデータ拡張手法を比較した。 0.75
(2020) and a lexicon extension method implemented based on the Stanza system (Qi et al., 2020). (2020年)およびスタンザシステムに基づくレキシコン拡張法(qi et al., 2020年) 0.61
Secondly, we present more analyses to provide evidence towards the conclusion that the improvements presented for the enhanced model in the previous section can be attributed to our system’s ability to make use of external resources supplied to the model via the second encoder. 第2に,前節の強化モデルに対する改善は,第2のエンコーダを通じてモデルに供給される外部リソースを活用する能力に起因している,という結論への証拠を提供するため,さらなる分析を行う。 0.82
6.1 Data Augmentation We implemented the transducer augmentation method described by Kanerva et al. 6.1 Data Augmentation Kanervaらによって記述されたトランスデューサの増強方法を実装しました。 0.61
(2020). This method’s basic idea relies on applying existing morphological analyzers (in this case, Apertium) to unannotated data to generate additional training instances. (2020). この手法の基本的な考え方は、既存の形態解析器(この場合、Apertium)を注釈のないデータに適用して、追加のトレーニングインスタンスを生成することである。 0.71
To obtain the augmentation data, we recreated the experiments of Kanerva et al. 増強データを得るためには、Kanerva et alの実験を再現しました。 0.72
(2020) with 8K additional data. (2020) 8Kの追加データ。 0.81
First, we collected a word frequency list for each language based on automatically annotated CoNLL2017 corpora (Ginter et al., 2017). まず,自動注釈付きCoNLL2017コーパス(Ginter et al., 2017)に基づいて,各言語の単語頻度リストを収集した。 0.80
For the languages not present in this dataset (Belarusian and Armenian), we used the wikidump このデータセットに存在しない言語(ベラルーシ語とアルメニア語)にはwikidumpを使いました。
訳抜け防止モード: このデータセットに存在しない言語(ベラルーシ語とアルメニア語)のため。 wikidumpを使って
0.75
to extract the word frequency list. 単語の頻度リストを抽出します 0.69
Next, all words in the list were analyzed with the Apertium morphological analyzer. 次に,Apertium morphological analysisrを用いて全ての単語を解析した。 0.82
Then, we used the scripts6 from the original experiments of Kanerva et al. 次に、Kervaらのオリジナルの実験からスクリプト6を使用しました。 0.76
(2020) to convert the Apertium analyses to the UD format and filter out ambiguous cases. (2020)、Apertium解析をUD形式に変換し、曖昧なケースをフィルタリングする。 0.75
Finally, the 8K most frequent words not already present in the training set together with their analyses were chosen and appended to the UD training set. 最後に、トレーニングセットにすでに存在しない8Kの最も頻繁な単語とその分析が選択され、UDトレーニングセットに追加されました。 0.69
Although both the enhanced and augmented systems utilize Apertium as the external source, additional data usage differs. 拡張されたシステムと拡張されたシステムの両方が外部ソースとしてApertiumを使用しているが、追加のデータ利用は異なる。 0.51
The augmented system uses Apertium to create extra labeled training data, while our enhanced model uses Apertium to generate additional lemma candidates to the words of the same initial training set. 拡張システムは、Apertiumを使用してラベル付きトレーニングデータを生成する一方、拡張モデルはApertiumを使用して、同じ初期トレーニングセットの単語に対する補題候補を生成する。 0.73
On the other hand, during test time, the augmented model must fully rely on the regularities learned during training, while our enhanced model can additionally look at the lemmas for words that were never seen during training. 一方、テスト期間中は、拡張モデルはトレーニング中に学習した正規性に完全に依存する必要があり、強化されたモデルはトレーニング中に見たことのない単語の補題も見ることができます。 0.71
The comparison of our Apertium-enhanced model and the augmented model is shown in the first two blocks of Table 2. apertium-enhancedモデルと拡張モデルの比較は、テーブル2の最初の2ブロックで示されます。 0.78
The first two columns reintroduce the Default and Apertium-enhanced models’ results from the Table 1, the third and the fourth columns show the same two models trained on the augmented training sets. 最初の2つの列は、テーブル1からデフォルトとアペルチウム強化モデルの結果を再導入し、3番目の列と4番目の列は、拡張トレーニングセットで訓練された同じ2つのモデルを示しています。
訳抜け防止モード: 最初の2つの列はデフォルトとアペルティウムを再導入します。 第3列と第4列は、拡張トレーニングセットでトレーニングされた2つのモデルを示している。
0.73
Overall, the average results for both Apertium-enhanced and the augmented Default model (the column Def+8K) are very similar, with the average of the Apertiumenhanced model being slightly higher (97.25 vs. 97.17). 全体として、Apertiumenhancedと拡張デフォルトモデル(コラムDef+8K)の双方の平均結果は、Apertiumenhancedモデルの平均はわずかに高い(97.25 vs. 97.17)。 0.85
The Apertium-enhanced model is better in 15 languages out of 23 (underlined in the table), while the augmented model surpasses the enhanced model on 8 models. Apertium-enhancedモデルは23言語中(表に示す)の15言語でより優れていますが、拡張モデルは8モデルで強化されたモデルを超えています。 0.79
The Apt+8K column shows the results of a model combining both augmentation and enhanced methods—the training data is first augmented with the additional 8K words and then additionally enhanced with the Apertium candidates via the second encoder. Apt+8Kカラムは、増強法と強化法の両方を組み合わせたモデルの結果を示しています。トレーニングデータは、まず追加の8K単語で拡張され、さらに2番目のエンコーダを介してApertium候補で強化されます。 0.62
The combined approach scores are the best for 8 languages out of 23, resulting in an average improvement over the augmented Default model of 0.14% and over the Apertium-enhanced model of 0.06% in absolute. 組み合わせたアプローチスコアは23言語中8言語で最高であり、拡張デフォルトモデルが0.14%、アペルチウム強化モデルが0.06%の絶対値よりも平均的に改善された。 0.81
These results show that both augmentation and enhancement methods can contribute in complementary ways. これらの結果は、増強方法と強化方法の両方が補完的な方法で貢献できることを示しています。 0.53
6https://github.com/ jmnybl/ 6https://github.com/ jmnybl/ 0.39
universal-lemmatizer universal‐lemmatizer 0.58
英語(論文から抽出)日本語訳スコア
Apt Def+8K Apt+8K Apt0.8 Apt+E Apt+Uni Apt+UD Apt Def+8K Apt+8K Apt0.8 Apt+E Apt+Uni Apt+UD 0.41
Treebank cs_pdt ru_syntagrus es_ancora ca_ancora fr_gsd hi_hdtb de_gsd it_isdt en_ewt ro_rrt pt_bosque nl_alpino bg_btb ur_udtb gl_ctg uk_iu eu_bdt da_ddt sv_talbanken el_gdt tr_imst hy_armtdp be_hse Average ツリーバンク cs_pdt ru_syntagrus es_ancora ca_ancora fr_gsd hi_hdtb de_gsd it_isdt en_ewt ro_rrt pt_bosque nl_alpino bg_btb ur_udtb gl_ctg uk_iu eu_bdt da_ddt sv_talbanken el_gdt tr_imst hy_armtdp be_hse Average 0.55
Def Our models 98.55 98.51 98.11 97.82 99.31 99.35 98.89 98.85 98.13 98.05 98.77 98.80 96.87 96.80 98.48 98.19 98.26 98.21 98.53 98.33 98.32 98.24 96.74 97.08 98.07 97.97 97.16 97.28 98.93 98.48 97.12 97.03 96.48 96.68 98.03 97.87 98.27 97.36 97.38 96.66 97.39 97.03 96.01 95.55 82.63 81.91 97.03 97.25 Def Our models 98.55 98.51 98.11 97.82 99.31 99.35 98.89 98.85 98.13 98.05 98.77 98.80 96.87 96.80 98.48 98.19 98.26 98.21 98.53 98.33 98.32 98.24 96.74 97.08 98.07 97.97 97.16 97.28 98.93 98.48 97.12 97.03 96.48 96.68 98.03 97.87 98.27 97.36 97.38 96.66 97.39 97.03 96.01 95.55 82.63 81.91 97.03 97.25 0.41
Augmented models 98.57 98.49 98.06 97.86 99.60 99.53 98.89 98.86 99.05 98.98 98.83 98.78 96.67 96.79 98.99 98.98 98.12 97.24 97.56 98.48 98.29 98.13 96.82 96.80 98.84 98.82 97.31 96.90 98.84 98.27 97.35 97.25 96.71 96.66 97.95 97.74 98.16 97.49 96.96 97.02 97.01 97.24 95.66 95.74 83.33 82.92 97.31 97.17 Augmented models 98.57 98.49 98.06 97.86 99.60 99.53 98.89 98.86 99.05 98.98 98.83 98.78 96.67 96.79 98.99 98.98 98.12 97.24 97.56 98.48 98.29 98.13 96.82 96.80 98.84 98.82 97.31 96.90 98.84 98.27 97.35 97.25 96.71 96.66 97.95 97.74 98.16 97.49 96.96 97.02 97.01 97.24 95.66 95.74 83.33 82.92 97.31 97.17 0.41
The second encoder input varies 第2のエンコーダ入力は様々です 0.67
98.49 97.98 99.33 98.85 97.98 98.84 96.83 98.36 98.21 98.44 98.30 96.89 98.02 97.13 98.74 97.22 96.63 97.87 98.41 97.49 97.17 95.86 83.51 97.24 98.49 97.98 99.33 98.85 97.98 98.84 96.83 98.36 98.21 98.44 98.30 96.89 98.02 97.13 98.74 97.22 96.63 97.87 98.41 97.49 97.17 95.86 83.51 97.24 0.40
98.39 97.83 99.29 98.80 97.79 98.66 96.49 98.3 98.17 98.29 98.32 96.86 98.06 97.13 97.02 97.11 96.33 97.57 97.64 97.38 96.89 95.68 82.13 96.96 98.39 97.83 99.29 98.80 97.79 98.66 96.49 98.3 98.17 98.29 98.32 96.86 98.06 97.13 97.02 97.11 96.33 97.57 97.64 97.38 96.89 95.68 82.13 96.96 0.40
98.51 97.98 99.33 98.85 97.97 98.83 96.83 98.36 98.22 98.46 98.30 96.81 98.02 97.13 98.74 97.22 96.63 97.91 97.84 97.56 97.17 95.86 83.51 97.22 98.51 97.98 99.33 98.85 97.97 98.83 96.83 98.36 98.22 98.46 98.30 96.81 98.02 97.13 98.74 97.22 96.63 97.91 97.84 97.56 97.17 95.86 83.51 97.22 0.40
98.50 97.97 99.33 98.85 97.98 98.84 96.84 98.37 98.20 98.41 98.31 96.85 98.02 97.13 98.70 97.22† 96.62 97.87 97.95 97.47 97.14 95.86† 83.51† 97.21 98.50 97.97 99.33 98.85 97.98 98.84 96.84 98.37 98.20 98.41 98.31 96.85 98.02 97.13 98.70 97.22† 96.62 97.87 97.95 97.47 97.14 95.86† 83.51† 97.21 0.39
can only store one lemma per SF-POS combination. SF-POSの組み合わせごとに1つの補題のみ保存できます。 0.55
Thus, if any of the external lexicons contain ambiguous lemmas, the firstly encountered lemma is chosen for each word. したがって、外部のレキシコンのいずれかが曖昧な補題を含む場合、各単語に最初に遭遇した補題が選択される。 0.66
Table 2: Comparison of the enhanced models with the augmentation method: Def is the Default model, Apt is the Apertium-enhanced model, Def+8K and Apt+8K are the same Default and Apertium-enhanced models with augmented data. 表2:拡張モデルと拡張方法の比較:Defはデフォルトモデル、AptはApertium-enhancedモデル、Def+8KとApt+8Kは同じデフォルトモデル、Apertium-enhancedモデルは拡張データです。 0.84
For the models marked with †, the UD Lexicon is absent and is replaced with Apertium candidates instead. にマークされたモデルの場合、UD Lexiconは不在であり、代わりにApertium候補に置き換えられます。 0.70
6.2 Lexicon Extension Another simple baseline method for using external data is to use a lexicon or an external system first and only resort to neural generation when the surface form (SF) is not present in the lexicon. 6.2 Lexicon Extension 外部データを使用するためのもう1つの簡単なベースラインメソッドは、最初にLexiconまたは外部システムを使用し、表面形式(SF)がlexiconに存在しないときにのみ神経生成に頼ることである。 0.77
This is essentially how the Stanza lemmatizer works. これは基本的にStanza lemmatizerの仕組みです。 0.79
Stanza constructs a lexicon based on the training set. Stanzaはトレーニングセットに基づいて辞書を構築する。 0.76
During inference, the prediction goes through a cascade of three steps: 1) if the SF is present in the lexicon, then the lemma is immediately retrieved from the lexicon. 推論の間、予測は3つのステップのカスケードを通過します:1) SF がレキシコンに存在する場合、補題は直ちにレキシコンから取り出される。 0.55
2) If the SF is novel and is missing from the lexicon, an edit operation is generated that decides whether the SF itself or its lowered form is the lemma, or whether neither is true. 2)SFが新規で、辞書から欠落している場合、SF自体またはその低下した形態が補題であるか、またはどちらも真実であるかを決定する編集操作が生成される。 0.74
3) Only in the last case the lemma is generated by the sequential decoder. 3)最後のケースでのみ、補題はシーケンシャルデコーダによって生成される。 0.75
For testing out the lexicon extension system, we used the pretrained Stanza models but extended the lexicon stored in the Stanza system with additional items. 辞書拡張システムをテストするために,事前訓練したStanzaモデルを用いたが,Stanzaシステムに格納された辞書を追加項目で拡張した。 0.65
Note that Stanza lexicons Stanza lexicons について 0.79
We extended the Stanza lexicons with both the Apertium 8K datasets used for training the augmented models in section 6.1 and the UD lexicons (Sagot, 2018). Stanzalexiconsは、セクション6.1で拡張モデルのトレーニングに使用されるApertium 8KデータセットとUDlexicons(Sagot, 2018)の両方で拡張しました。 0.81
The results of these evaluations are shown in Table 3. これらの評価の結果は、表3に示します。 0.79
The set of languages in this table is slightly different than in Table 1, only including those languages for which the UD lexicons are existent. この表の言語セットは、UD 辞書が存在する言語のみを含む表 1 とわずかに異なります。 0.61
The left block shows the results with various Stanza models. 左のブロックは様々なスタンザモデルで結果を表示する。 0.75
The first column shows the baseline Stanza results (taken from Table 1), the second and the third columns present the Stanza model with its lexicon extended with the UD lexicons and the 8K words, respectively. 第1の列は、表1から取られた)Stanzaの結果、第2の列と第3の列は、それぞれUD語彙と8K単語で拡張された語彙でStanzaモデルを示す。 0.76
The original UD lexicon for Russian contained many erroneous lemmas due to poor post-processing, which skewed ロシア用の元のUDレキシコンには、後処理が悪いため、多くの誤った補題が含まれていました。 0.48
英語(論文から抽出)日本語訳スコア
Treebank cs_pdt ru_syntagrus es_ancora ca_ancora fr_gsd hi_hdtb de_gsd it_isdt en_ewt ro_rrt pt_bosque nl_alpino bg_btb ur_udtb gl_ctg eu_bdt da_ddt sv_talbanken el_gdt tr_imst Average Treebank cs_pdt ru_syntagrus es_ancora ca_ancora fr_gsd hi_hdtb de_gsd it_isdt en_ewt ro_rrt pt_bosque nl_alpino bg_btb ur_udtb gl_ctg eu_bdt da_ddt sv_talbanken el_gdt tr_imst Average 0.43
Stanza Stanza+UD Stanza+8K Apt 98.49 98.58 97.98 97.91 99.33 99.21 98.85 98.49 97.98 98.15 98.84 96.66 96.78 96.83 98.36 98.32 98.21 98.18 98.44 98.16 98.12 98.30 96.89 96.99 98.02 97.36 97.13 95.62 98.74 98.59 96.63 96.52 97.87 97.36 97.53 98.41 97.49 96.66 97.17 96.73 98.00 97.60 Stanza Stanza+UD Stanza+8K Apt 98.49 98.58 97.98 97.91 99.33 99.21 98.85 98.49 97.98 98.15 98.84 96.66 96.78 96.83 98.36 98.32 98.21 98.18 98.44 98.16 98.12 98.30 96.89 96.99 98.02 97.36 97.13 95.62 98.74 98.59 96.63 96.52 97.87 97.36 97.53 98.41 97.49 96.66 97.17 96.73 98.00 97.60 0.41
98.76 96.76† 99.25 98.29 97.69 96.75 97.53 98.60 98.21 98.44 98.32 97.22 96.26 95.66 98.64 96.51 97.89 98.45 96.49 96.90 97.63 98.76 96.76† 99.25 98.29 97.69 96.75 97.53 98.60 98.21 98.44 98.32 97.22 96.26 95.66 98.64 96.51 97.89 98.45 96.49 96.90 97.63 0.40
98.60 97.92 99.15 98.51 98.24 96.66 96.86 98.46 98.17 98.27 98.12 96.97 96.62 95.64 98.60 96.41 97.55 97.63 96.89 96.83 97.61 98.60 97.92 99.15 98.51 98.24 96.66 96.86 98.46 98.17 98.27 98.12 96.97 96.62 95.64 98.60 96.41 97.55 97.63 96.89 96.83 97.61 0.40
Lex+UD Lex+8K 98.66 97.97 99.28 98.83 96.75 98.71 96.94 98.39 98.19 98.28 98.20 96.61 98.20 97.29 98.48 96.62 97.70 97.59 97.54 97.23 97.87 Lex+UD Lex+8K 98.66 97.97 99.28 98.83 96.75 98.71 96.94 98.39 98.19 98.28 98.20 96.61 98.20 97.29 98.48 96.62 97.70 97.59 97.54 97.23 97.87 0.40
98.70 97.36† 99.27 98.83 97.09 98.76 97.01 98.38 98.21 98.38 97.98 96.63 98.12 97.28 98.48 96.66 97.82 97.78 97.52 97.17 97.87 98.70 97.36† 99.27 98.83 97.09 98.76 97.01 98.38 98.21 98.38 97.98 96.63 98.12 97.28 98.48 96.66 97.82 97.78 97.52 97.17 97.87 0.40
Table 3: Evaluation of the effect of the Stanza-based lexicon extension method; comparison with the Apertiumenhanced (Apt) and the Lexicon-enhanced systems (Lex+UD and Lex+8K). 表3: stanza-based lexicon extension method の効果の評価: apertiumenhanced (apt) と lexicon-enhanced systems (lex+ud, lex+8k) との比較 0.81
the average accuracy. Thus, we did additional postprocessing to put it in line with other languages. 平均的な正確さです したがって、他の言語と一致するように、後処理を追加しました。 0.68
model during both training (training set + the training set based lexicon) and testing. トレーニング(トレーニングセット + トレーニングセットベースのレキシコン)とテストの両方のモデル。 0.71
The average scores of the Stanza systems extended with both UD and 8K lexicons remain roughly the same. UDと8Kのレキシコンで拡張されたスタンザシステムの平均スコアはほぼ同じである。 0.68
However, when extending the Stanza with UD lexicons, most languages improve at least slightly, as shown with the underlined scores in the column Stanza+UD. しかし、Stanza を UD 辞書で拡張する場合、Stanza+UD 列のアンダーラインスコアで示されるように、ほとんどの言語は少なくともわずかに改善します。 0.71
Overall, on average, the simple lexicon extension method falls considerably behind our Apertium-enhanced model (97.63 vs. 98.00), the scores of which are again replicated in the first column of the right-most block. 平均すると、単純な語彙拡張法はアペルチウム強化モデル(97.63 vs. 98.00)よりかなり遅れており、そのスコアは右端のブロックの最初の列に再び複製される。 0.72
However, the Apertium-enhanced model is not directly comparable to the Stanza models with extended lexicons because 1) the training data differs as the enhanced model has access to extra lemma candidates of the training set words during training and 2) the lexicons available during the test time are different. しかし,Apertium-enhancedモデルとStanzaモデルと直接比較することはできない。これは,(1)強化モデルがトレーニング中のトレーニングセットワードの補題候補にアクセスできるため,2)テスト期間中に利用できる語彙が異なるためである。 0.73
Thus, we also show in the last two columns of the right-hand block of Table 3 the results of two Lexicon-enhanced models (recall Section 4 and Table 1), similarly extended with the UD and 8K lexicons. したがって、テーブル3の右側ブロックの最後の2つの列に、同様にUDと8Kの辞書で拡張された2つのレキシコン強化モデル(リコールセクション4とテーブル1)の結果も示します。 0.77
The Lexicon-enhanced model has access to the same data as the Stanza Lexicon-enhanced モデルは Stanza と同じデータにアクセスできます 0.87
While the Lexicon-enhanced model alone does not perform better than the Default baseline (see results in Table 1), adopting additional UD or 8K lexicons during test time increases the results to the same level with the Apertium-enhanced model. Lexicon-enhancedモデルだけではDeefaultベースラインよりもパフォーマンスが良くないが(表1での結果を参照)、テスト時間中にUDまたは8Kレキシコンを追加すると、Apertium-enhancedモデルと同じレベルに結果が増加する。 0.70
This shows that our proposed approach does not need additional resources during training— the model can be trained to use external sources based on the lexicon created from the training set. これは、私たちの提案されたアプローチがトレーニング中に追加のリソースを必要としないことを示しています。モデルは、トレーニングセットから作成された辞書に基づいて外部ソースを使用するようにトレーニングすることができます。
訳抜け防止モード: これは、我々の提案したアプローチがトレーニング中に追加のリソースを必要としないことを示している。 モデルはトレーニングセットから生成されたレキシコンに基づいて外部ソースを使用するようにトレーニングすることができる。
0.58
Then, the system’s real benefits can be achieved when using extra resources later during test time. そして、テスト期間中に余分なリソースを使用する場合、システムの真のメリットが得られます。 0.76
Without those resources, the model still performs on the same level as the non-enhanced baseline. これらのリソースがなければ、モデルはまだ非強化ベースラインと同じレベルで動作します。 0.69
We hypothesize that our dual-encoder approach performs better than the Stanza with extended lexicon partly because of the differences in the usage of the external data. 当社のデュアルエンコーダアプローチは,外部データの使用方法の違いが原因で,拡張レキシコンを用いたスタンザよりもパフォーマンスがよいと仮定した。 0.69
Since Stanza uses the lexicon resources as a first step in the cascade, it is prone to potential errors and noise in the lexicons. スタンザはレキシコン資源をカスケードの第一段階として用いているため、レキシコンの潜在的なエラーやノイズが発生しやすい。 0.57
The dual-encoder model is safer against noise in this respect because the lemma candidates are not simply chosen as the prediction if present but are 二重エンコーダモデルは、この点でノイズに対して安全です。なぜなら、補題候補は単に予測として選択されるのではなく、存在するからです。
訳抜け防止モード: デュアルエンコーダモデルは、この点でノイズに対して安全です。 補題候補は単に予測として選択されるのではなく
0.72
英語(論文から抽出)日本語訳スコア
rather fed through the system that can decide how much to take or ignore from the given candidates. むしろ、与えられた候補者からどのくらい取り込むか無視するかを決定できるシステムを通じて供給される。 0.69
Also, because Stanza lexicons have the restriction of only one lemma per word-POS pair, the system might solve some ambiguities erroneously. また、Stanzalexiconsは単語-POSペアごとに1つの補題のみの制限があるため、システムは誤っていくつかの曖昧さを解決する可能性があります。 0.57
Our approach is also more flexible in this respect, as the second encoder can be given several candidates, and again, the system learns to decide itself from which candidate how much to take. 2番目のエンコーダは複数の候補を与えることができるため、私たちのアプローチもこの点でより柔軟であり、再び、システムはどの候補からどのくらい取るかを決定することを学びます。 0.72
On average, there are 0.71 lemma candidates per input word, and 1.09 lemma candidates per input word when excluding those words that do not have external lemma candidates. 平均して、入力語ごとに0.71の補題候補があり、外部補題候補を持たない単語を除くと、入力語ごとに1.09の補題候補がある。 0.68
6.3 Effect of the Second Encoder Next, we performed a set of evaluations to argue for the effect of the second encoder in the enhanced model. 6.3 第2エンコーダの効果 次に, 拡張モデルにおける第2エンコーダの効果を議論するために, 一連の評価を行った。 0.86
We suggest that the improvements presented in Table 1 for the Apertium-enhanced model over the Default baseline are indeed due to the input provided via the second encoder. apertium-enhancedモデルで表1に示したデフォルトベースラインに対する改善は、実際には第2のエンコーダによって提供される入力によるものだと提案する。 0.77
To demonstrate that, we evaluated the test set for each language again, on the same model that was trained with Apertium lemma candidates but leaving the second encoder empty for the test time. apertium lemma 候補でトレーニングされたのと同じモデル上で,テスト時間には第2エンコーダを空にしておくことで,各言語のテストセットを再度評価した。 0.85
For that, we retrained the Apertium-enhanced models with the encoder dropout of 0.8. そのため, エンコーダが0.8のApertiumエンハンスモデルを再学習した。 0.73
This means that during training, 80% of the time, the lemma candidates provided for the second encoder are dropped, and the model trains only the main encoder. これは、トレーニング中、80%の時間が、第2エンコーダに提供された補題候補を落として、モデルがメインエンコーダのみを訓練することを意味する。 0.71
The reasoning for using the dropout is similar to one provided for the Lexicon-enhanced model in Section 3—if the lemma candidates are always provided during training, the model learns to rely equally on both encoders. ドロップアウトの理由は第3節でレキシコンの強化されたモデルに対して提供されるものと似ており、もし補題候補がトレーニング中に常に提供されるなら、モデルは両エンコーダに等しく依存するようになる。
訳抜け防止モード: ドロップアウトの理由は,第3節のレキシコン強化モデルに提供されるものに似ている。 レンマ候補は常に訓練中に提供されます モデルは両エンコーダに 等しく依存するようになる
0.74
Due to that, if the second encoder remains empty during testing, the performance degrades considerably. このため、テスト中に第2エンコーダが空である場合、パフォーマンスは大幅に低下する。 0.74
If, on the other hand, the dropout is used, then the model learns to make predictions both when the candidates in the second encoder are present and also when they are absent. 一方、ドロップアウトが使用される場合、モデルは、第2エンコーダの候補が存在するときと、それらが存在しないときの両方で予測することを学ぶ。 0.67
The results of these experiments are shown in the right-most block of Table 2. これらの実験の結果は表2の右端のブロックで示される。 0.78
We first show in Table 2 that the results of the Apertium-enhanced models trained with dropout are equivalent to the results obtained without dropout as evidenced by the column Apt0.8. Apt0.8のコラムが示すように,Apertium-enhanced modelのドロップアウトでトレーニングした結果は,ドロップアウトなしで得られた結果と同等であることを示す。 0.72
Next, when the second encoder is empty (column Apt+E), the test results are similar to the ones obtained with the Default model, providing evidence that the improvements are indeed due to the extra info supplied via the second encoder during test time. 次に、セカンドエンコーダが空の場合(列Apt+E)、テスト結果はデフォルトモデルで得られたものと類似しており、テスト時間中にセカンドエンコーダを介して提供される追加情報による改善の証拠を提供する。 0.77
Addition- ally, we emulated the scenario when extra lexicon information becomes available after training the model. 付加 モデルのトレーニング後に余剰語彙情報が利用可能になったときのシナリオをエミュレートしました。 0.58
In this case, it is straightforward to integrate this information into the system without having to retrain the model. この場合、モデルを再トレーニングすることなく、この情報をシステムに統合することは簡単です。 0.74
The last two columns in Table 2 show the following scenarios on this respect: 1) Unimorph lexicons in addition to Apertium (7th column Apt+Uni) and 2) UD lexicons (the last column Apt+UD) in addition to Apertium. 表2の最後の2つの列は、Apertium(第7列Apt+Uni)に加えてUnimorphlexicons、およびApertiumに加えてUDlexicons(最後の列Apt+UD)というこの点で次のシナリオを示しています。 0.88
The results in Table 2 show that, on average, extending the Apertium system with these particular lexicons do not add any benefit. 表2の結果は、平均して、これらの特定のレキシコンでアペルチウム系を拡張しても利益は得られないことを示しています。 0.61
The reasons for that can be twofold: 1) The UD lexicons are for most languages constructed based on the Apertium system and thus might not add any extra information; 2) The coverage of Unimorph lexicons in terms of lemmas is typically smaller than of Apertium systems. 1)UDレキシコンはApertiumシステムに基づいて構築されたほとんどの言語を対象としているため、余分な情報を加えない可能性がある; 2) 補題の観点からのUnimorphレキシコンのカバレッジは通常Apertiumシステムよりも小さい。 0.70
Table 4 shows some examples when the Default model predicted incorrect lemma while the Apertium-enhanced model predicted the correct one. 表4は、デフォルトモデルが不正確な補題を予測し、アペルティウムエンハンスモデルが正しい補題を予測した例を示している。 0.69
In some cases, Apertium provided the only and correct candidate for the Apertium-enhanced model, which was picked as a final prediction. いくつかのケースでは、アペルチウムは最終的な予測として選ばれたアペルチウムのモデルに唯一正しい候補を与えた。
訳抜け防止モード: 場合によっては、ApertiumはApertiumの唯一の正しい候補を提供しました。 最終予測として選ばれました。
0.61
In other cases, several candidates are provided to the second encoder, and the enhanced model chooses the correct one in most of the cases. その他のケースでは、いくつかの候補が第2エンコーダに提供され、拡張されたモデルはほとんどの場合、正しいものを選択する。 0.62
This indicates that the second encoder effectively learns how to use the candidates to better control the lemma generation. これは、2番目のエンコーダが効果的に補題生成をよりよく制御するために候補者を使用する方法を学ぶことを示しています。 0.56
6.4 Effect of Morphological Features All dual-encoder models were trained with both POS and morphological features in the input, while the Stanza baseline only uses POS-tag information. 6.4 形態的特徴の影響 すべてのデュアルエンコーダモデルは、POSと形態的特徴の両方で訓練され、StanzaベースラインはPOSタグ情報のみを使用する。 0.75
Thus, the effect of the morphological features is a potential confounding factor when comparing the performance of the enhanced models to the Stanza baseline. したがって, モデルの性能をStanzaベースラインと比較した場合, 形態的特徴の影響は潜在的に矛盾する要因となる。 0.81
To evaluate the effect of the morphological features, we trained the Default and Apertium-enhanced models with only providing POS-tag information to the input. 形態的特徴の影響を評価するため, POSタグ情報のみを入力に提供し, デフォルトモデルとアペルチウム強化モデルを訓練した。 0.78
Figure 2 shows the improvement in accuracy over the Default model trained with POS-tags only of 1) the Default model trained with both POS-tags and morphological features, 2) the Apertium-enhanced model trained with only POS-tags, and 3) the Apertium-enhanced model trained with both POS-tags and morphological features. 図2は,(1)POSタグと形態特徴の両方でトレーニングされたデフォルトモデル,(2)POSタグのみでトレーニングされたApertium強化モデル,(3)POSタグと形態特徴の両方でトレーニングされたApertium強化モデルに対する精度の向上を示す。 0.79
It can be seen that for some of the languages, the most improvement comes from adding morphological features to the input, while for other languages adding the second encoder gives the main boost. いくつかの言語では、最も改善されるのは入力に形態的特徴を加えることであり、他の言語では2番目のエンコーダを追加することで大きな改善が期待できる。 0.76
英語(論文から抽出)日本語訳スコア
Input паперi (cid:104)paperi(cid: 105) чотирьох (cid:104)čotyr’oh(cid:105) Antworten besten раскладзе (cid:104)raskladze(c id:105) стаiць (cid:104)staic’(cid:105) 入力 паперi (cid:104)paperi (cid:105) чотирьох (cid:104)čotyr’oh (cid:105) Antworten besten раскладзе (cid:104)raskladze (cid:105) стаiць (cid:104)staic' (cid:105) 0.75
Apt папiр (cid:104)papir(cid:1 05) чотири (cid:104)čotyry(cid:105) 付録 папiр (cid:104)papir (cid:105) чотири (cid:104)čotyry (cid:105) 0.61
gut Candidate(s) 腸 Candidate (複数形 Candidates) 0.55
Def *папер папiр (cid:104)papir(cid:1 05) (cid:104)paper(cid:1 05) *четвери четверо, чотири (cid:104)četvery(cid:105) (cid:104)četvero, čotyry(cid:105) *Antworte Antworten antworten, antwort bester *раскладз расклад (cid:104)rasklad(cid :105) (cid:104)raskladz(ci d:105) стаяць стаiць (cid:104)stajac’(cid:105) (cid:104)staic’(cid:105) Def *папер папiр (cid:104)papir(cid:1 05)paper(cid:105) *четвери четверо, чотири (cid:104)četvery(cid:105) (cid:104)četvero, čotyry(cid:105) *Antworte Antworten antworten, antwort bester *расладз раслад (cid:104)rasklad(cid :105) (cid:105)rasklad(cid :105)rasklad(cid:104 )rasklad(cid:105) 0.95
gut раскласцi, расклад (cid:104)rasklasci, rasklad(cid:105) стаяць, стаiць (cid:104)stajac’, staic’(cid:105) gut раскласцi, расклад (cid:104)rasklasci, rasklad (cid:105) стаць, стаiць (cid:104)stajac' ;, staic' (cid:105) 0.85
Table 4: Examples for Ukrainian, German, and Belarusian words corrected by the enhanced model. 表4: 強化されたモデルによって修正されたウクライナ語、ドイツ語、ベラルーシ語の例。 0.67
All predictions of the Default (Def) are incorrect, the ungrammatical ones are marked with *. デフォルト(def)のすべての予測は誤りであり、非文法の予測は*でマークされる。 0.74
The correct predictions of the Apertium-enhanced (Apt) models are in bold. Apertium-enhanced(Ap t)モデルの正しい予測は、大胆である。 0.78
The last column shows the external candidates. 最後の列は外部候補を示す。 0.77
However, for most languages, combining the second encoder and morphological features provides the largest effect, which seems to be more complex than a linear combination of the two. しかし、ほとんどの言語では、2番目のエンコーダと形態的特徴を組み合わせることが最大の効果となり、これは2つの線形結合よりも複雑に思える。 0.78
We suppose that, in this scenario, the attention mechanism works differently—it allegedly takes the morphological features into account when picking the correct lemma from the multiple candidates. このシナリオでは、複数の候補から正しい補題を選択する際に、形態学的特徴を考慮すると、注意メカニズムが異なります。 0.66
7 Conclusion We proposed a method for enhancing neural lemmatization by integrating external input into the model via a second encoder and showed that the system incorporating Apertium morphological analyzer significantly improved the performance over the baselines. 7 結論 外部入力を第2エンコーダを介してモデルに組み込むことで神経補間性を高める方法を提案し,Apertium morphological analyzerを組み込んだシステムがベースライン上の性能を有意に向上させることを示した。 0.84
Both Bergmanis and Goldwater (2019) and Kanerva et al. Bergmanis and Goldwater (2019) と Kanerva et al。 0.71
(2020) used external resources to augment the training data, and thus, the improvement of their system is dependent on the amount and quality of the extended data supplied during training. (2020年) トレーニングデータの強化に外部資源を活用し, トレーニング中に提供された拡張データの量と品質に依存したシステム改善を行った。 0.81
On the other hand, our method trains the system to use the external information provided during run-time, thus making it independent of the particular external data available during training. 一方,本手法では,実行時に提供された外部情報を使用するようにシステムを訓練し,トレーニング中に利用可能な外部データとは独立に処理を行う。 0.79
We experimentally showed that the enhancing method is both slightly better and complementary to the data augmentation method of Kanerva et al. 本手法は,kanervaらによるデータ拡張法に比べて若干優れ,補完的であることが実験的に示された。 0.61
(2020). We also compared our system with a simple lexicon extension method implemented based on the Stanza system. (2020). また,stanzaシステムに基づいて実装した単純なレキシコン拡張法と比較した。 0.74
When trained and tested in a comparable setting, the proposed enhanced system achieves considerably higher results. 同等の設定でトレーニングとテストを行うと、提案する強化システムはかなり高い結果が得られる。 0.65
Although the model’s computational complexity is increased by introducing the second encoder, it is counterbalanced by our model being more robust 第2エンコーダを導入することで、モデルの計算複雑性が増大するが、我々のモデルはより堅牢であるので、相反する。
訳抜け防止モード: モデル の計算複雑性は、第2のエンコーダを導入することで増大する。 モデルがより堅牢で バランスが取れます
0.80
Figure 2: Independent and cumulative effects of the second encoder and the morphological features on the model’s performance. 図2: 2番目のエンコーダの独立的で累積的な効果とモデルの性能に対する形態的特徴。 0.86
The origin of the x-axis is the performance of the Default model with POS-tags only. x軸の起源はPOSタグのみを持つデフォルトモデルのパフォーマンスである。 0.74
to noise and the ambiguities stemming from the external lexicons. 外部のレキシコンから生じる ノイズや曖昧さについてです 0.60
Moreover, the main bottleneck in computation originates not from the neural network’s increased size but can rather stem from the external system. さらに、計算の主なボトルネックは、ニューラルネットワークのサイズの増加ではなく、むしろ外部システムから生じる可能性があります。 0.71
For example, in our experiments, the main bottleneck in computation originated from executing the transducer-based Apertium morphological analyser. 例えば,本実験では,トランスデューサを用いたApertium morphological analyserの実行から計算のボトルネックが生じた。 0.81
To overcome this bottleneck, one possible trade-off between the speed and accuracy is to precompile a candidate list large enough to cover the most frequent words for a given language. このボトルネックを克服するために、速度と精度のトレードオフの1つは、与えられた言語の最も頻繁な単語をカバーするのに十分な大きさの候補リストをプリコンパイルすることだ。 0.59
This is a problem that also simpler baseline methods adopting external resources have to address. これはまた、外部リソースを採用する単純なベースラインメソッドが対処しなければならない問題です。 0.68
Finally, it is worth noting that the proposed method could be beneficial for less-resourced languages. 最後に,提案手法が低リソース言語に有用であることに注意する必要がある。 0.76
However, establishing this claim would need more systematic experiments exploring specifically on this question, which we did not focus on in this paper. しかし,本論文では,本論文に焦点を絞らない,特にこの問題について,より系統的な実験を行う必要がある。 0.70
Still, because the significant improvements shown in this work are obtained on languages with larger datasets, the possible gains on smaller しかし、この研究で示された顕著な改善は、より大きなデータセットを持つ言語で得られるため、より小さな言語で得られる可能性がある。
訳抜け防止モード: しかし、この研究で示されている重要な改善は、より大きなデータセットを持つ言語で得られます。 小さめの利益は
0.73
英語(論文から抽出)日本語訳スコア
datasets can be larger. データセットはより大きくなります 0.68
Acknowledgments The first author was supported by the IT Academy Program (StudyITin.ee). 最初の著者はITアカデミープログラム(StudyITin.ee)によって支援された。 0.73
References Toms Bergmanis and Sharon Goldwater. Toms Bergmanis と Sharon Goldwater を参照。 0.88
2018. Context Sensitive Neural Lemmatization with Lematus. 2018. Lematusを用いたコンテクスト感受性神経レムマタイズ 0.72
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 1391–1400. 2018年の北米言語学会(Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), Page 1391–1400)の進行。 0.68
Toms Bergmanis and Sharon Goldwater. Toms BergmanisとSharon Goldwater。 0.77
2019. Training Data Augmentation for Context-Sensitive Neural Lemmatizer Using Inflection Tables and Raw Text. 2019. Inflection Tables と Raw Text を用いたコンテキスト依存型ニューラルネットワークレマタイザのトレーニングデータ拡張 0.78
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4119– 4128. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4119–4128。 0.76
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova。 0.78
2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2019. BERT:言語理解のための深度双方向変換器の事前トレーニング。 0.76
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4171–4186。 0.78
Mikel L. Forcada, Mireia Ginestí-Rosell, Jacob Nordfalk, Jim O’Regan, Sergio Ortiz-Rojas, Juan Antonio Pérez-Ortiz, Felipe Sánchez-Martínez, Gema Ramírez-Sánchez, and Francis M. Tyers. Mikel L. Forcada, Mireia Ginestí-Rosell, Jacob Nordfalk, Jim O’Regan, Sergio Ortiz-Rojas, Juan Antonio Pérez-Ortiz, Felipe Sánchez-Martínez, Gema Ramírez-Sánchez, Francis M. Tyers 0.89
2011. Apertium: A Free/Open-Source Platform for RuleBased Machine Translation. 2011. Apertium: RuleBased Machine Translationのフリー/オープンソースプラットフォーム。 0.86
Machine translation, 25(2):127–144. 機械翻訳 25(2):127–144。 0.87
Filip Ginter, Jan Hajic, Juhani Luotolahti, Milan Straka, and Daniel Zeman. Filip Ginter、Jan Hajic、Juhani Luotolahti、Milan Straka、Daniel Zeman。 0.73
2017. CoNLL 2017 Shared Task– Automatically Annotated Raw Texts and Word Embeddings. 2017. CoNLL 2017 Shared Task - 自動アノテーション付き生テキストとワード埋め込み。 0.82
LINDAT/CLARIN digital library at the Institute of Formal and Applied Linguistics, Charles University. LINDAT/CLARIN チャールズ大学フォーマル・応用言語学研究所のデジタルライブラリー。 0.71
Jenna Kanerva, Filip Ginter, Niko Miekka, Akseli Leino, and Tapio Salakoski. Jenna Kanerva, Filip Ginter, Niko Miekka, Akseli Leino, Tapio Salakoski 0.67
2018. Turku Neural Parser Pipeline: An End-to-End System for the CoNLL 2018 Shared Task. 2018. Turku Neural Parser Pipeline: CoNLL 2018共有タスクのためのエンドツーエンドシステム。 0.83
In Proceedings of the CoNLL 2018 Shared Task: Multilingual parsing from raw text to universal dependencies, pages 133– 142. Proceedings of the CoNLL 2018 Shared Task: Multilingual parsing from raw text to universal dependencies, page 133–142。 0.77
Jenna Kanerva, Filip Ginter, and Tapio Salakoski. Jenna Kanerva、Filip Ginter、Tapio Salakoski。 0.63
2020. Universal Lemmatizer: A Sequence to Sequence Model for Lemmatizing Universal Dependencies Treebanks. 2020. universal lemmatizer: ユニバーサル依存関係ツリーバンクを補間するためのシーケンスからシーケンスモデル。 0.80
Natural Language Engineering, pages 1–30. 自然言語工学1-30ページ。 0.80
Christo Kirov, John Sylak-Glassman, Roger Que, and David Yarowsky. Christo Kirov、John Sylak-Glassman、Roger Que、David Yarowsky。 0.84
2016. Very-large Scale Parsing and Normalization of Wiktionary Morphological Paradigms. 2016. 超大規模解析とWiktionary Morphological Paradigmの正規化 0.79
In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), Paris, France. 第10回言語資源評価国際会議(lrec 2016)は、フランス・パリで開催された。 0.65
European Language Resources Association (ELRA). 欧州言語資源協会 (ELRA) の略。 0.77
Arya D. McCarthy, Ekaterina Vylomova, Shijie Wu, Chaitanya Malaviya, Lawrence Wolf-Sonkin, Garrett Nicolai, Christo Kirov, Miikka Silfverberg, Sebastian J. Mielke, Jeffrey Heinz, et al. Arya D. McCarthy, Ekaterina Vylomova, Shijie Wu, Chaitanya Malaviya, Lawrence Wolf-Sonkin, Garrett Nicolai, Christo Kirov, Miikka Silfverberg, Sebastian J. Mielke, Jeffrey Heinz, et al。 0.93
2019. The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection. 2019. SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection (英語) 0.87
In Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, pages 229–244. 第16回音韻学、音韻学、形態学に関する計算研究ワークショップの議事録229-244頁。
訳抜け防止モード: 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology に参加して 229-244頁。
0.84
Peng Qi, Timothy Dozat, Yuhao Zhang, and Christopher D Manning. Peng Qi、Timothy Dozat、Yuhao Zhang、Christopher D Manning。 0.67
2018. Universal Dependency Parsing from Scratch. 2018. ScratchからのUniversal Dependency Parsing 0.79
In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 160–170. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 160–170のプロシーディング。 0.77
Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, and Christopher D. Manning. Peng Qi、Yuhao Zhang、Yuhui Zhang、Jason Bolton、Christopher D. Manning。 0.74
2020. Stanza: A Python Natural Language Processing Toolkit for Many Human Languages. 2020. Stanza: 多くのヒューマン言語のためのPython自然言語処理ツールキット。 0.85
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 第58回計算言語学会年次総会の議事録:システムデモ。 0.55
Rudolf Rosa and David Mareček. Rudolf RosaとDavid Mareček。 0.80
2018. CUNI x-ling: Parsing Under-Resourced Languages in CoNLL 2018 UD Shared Task. 2018. CUNI x-ling: CoNLL 2018 UD Shared Tasksでアンダーソース言語をパースする。 0.81
In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 187–196. Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, page 187–196。 0.83
Benoît Sagot. 2018. サゴート出身。 2018. 0.62
A Multilingual Collection of CoNLL-U-Compatible Morphological Lexicons. CoNLL-U-Compatible Morphological Lexiconsの多言語コレクション 0.76
In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). 第11回言語資源・評価国際会議(LREC 2018)に参加して 0.62
Milan Straka. 2018. ミラノ・ストラカ。 2018. 0.71
UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task. UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task 0.88
In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 197–207. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, page 197–207のプロシーディング。 0.76
Milan Straka and Jana Straková. ミラノ・ストラカとジャナ・ストラコバ 0.50
2017. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. 2017. UDPipe による UD 2.0 のトークン化、POS タグ付け、レマタイズ、解析。 0.74
In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pages 88–99, Vancouver, Canada. CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, page 88-99, Vancouver, Canada (英語) 0.75
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Milan Straka, Jana Straková, and Jan Hajic. Milan Straka、Jana Straková、Jan Hajic。 0.69
2019. UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging. 2019. UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging 0.80
In Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, pages 95–103. 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, published 95–103。
訳抜け防止モード: 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology に参加して 95-103頁。
0.83
University of Tartu. 2018. タルトゥ大学出身。 2018. 0.72
UT Rocket. share.neic.no. UTロケット。 share.neic.no. 0.62
英語(論文から抽出)日本語訳スコア
Daniel Zeman, Jan Hajic, Martin Popel, Martin Potthast, Milan Straka, Filip Ginter, Joakim Nivre, and Slav Petrov. Daniel Zeman、Jan Hajic、Martin Popel、Martin Potthast、Milan Straka、Filip Ginter、Joakim Nivre、そしてSlav Petrov。 0.77
2018. CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. 2018. conll 2018 shared task: multilingual parse from raw text to universal dependencies (英語) 0.80
In Proceedings of the CoNLL 2018 Shared Task: Multilingual parsing from raw text to universal dependencies, pages 1–21. Proceedings of the CoNLL 2018 Shared Task: Multilingual parsing from raw text to Universal Dependency, pages 1–21. (英語) 0.90
Daniel Zeman, Joakim Nivre, Mitchell Abrams, and et al. ダニエル・ゼマン。 Joakim Nivre、Mitchell Abrams、その他。 0.63
2019. Universal Dependencies 2.5. 2019. 通称2.5。 0.74
LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University. LINDAT/CLARIAH-CZ チャールズ大学数学・物理学部形式・応用言語学研究所のデジタルライブラリー。
訳抜け防止モード: LINDAT / CLARIAH - CZ Digital Library at the Institute of Formal and Applied Linguistics(英語) チャールズ大学数学物理学科教授。
0.77
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。