論文の概要: How Suitable Are Subword Segmentation Strategies for Translating Non-Concatenative Morphology?

• arxiv url: http://arxiv.org/abs/2109.01100v1
• Date: Thu, 2 Sep 2021 17:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 15:37:25.244055
• Title: How Suitable Are Subword Segmentation Strategies for Translating Non-Concatenative Morphology?
• Title（参考訳）: 非連結形態素の翻訳にサブワードセグメンテーションはどの程度適しているか?
• Authors: Chantal Amrhein and Rico Sennrich
• Abstract要約: 各種形態素現象のセグメンテーション戦略を評価するためのテストスイートを設計する。 形態学的に複雑な表面表現を解析・生成する学習は依然として困難である。
• 参考スコア（独自算出の注目度）: 26.71325671956197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven subword segmentation has become the default strategy for open-vocabulary machine translation and other NLP tasks, but may not be sufficiently generic for optimal learning of non-concatenative morphology. We design a test suite to evaluate segmentation strategies on different types of morphological phenomena in a controlled, semi-synthetic setting. In our experiments, we compare how well machine translation models trained on subword- and character-level can translate these morphological phenomena. We find that learning to analyse and generate morphologically complex surface representations is still challenging, especially for non-concatenative morphological phenomena like reduplication or vowel harmony and for rare word stems. Based on our results, we recommend that novel text representation strategies be tested on a range of typologically diverse languages to minimise the risk of adopting a strategy that inadvertently disadvantages certain languages.
• Abstract（参考訳）: データ駆動サブワードセグメンテーションは、オープンボキャブラリー機械翻訳や他のnlpタスクのデフォルト戦略となっているが、非結合形態の最適学習には不十分である。 制御された半合成環境で形態素現象の異なる種類のセグメンテーション戦略を評価するためのテストスイートを設計する。 実験では、サブワードとキャラクタレベルで訓練された機械翻訳モデルが、これらの形態的現象をいかに翻訳できるかを比較した。 形態学的に複雑な表面表現を解析・生成する学習は,特に重複や母音調和などの非連結形態素現象や稀な語幹において,依然として困難であることがわかった。 本研究の結果から,特定の言語に不利な戦略を採用するリスクを最小限に抑えるため,多種多様な言語で新たなテキスト表現戦略をテストすることを推奨する。

関連論文リスト

• Quantifying Synthesis and Fusion and their Impact on Machine Translation [79.61874492642691]
  自然言語処理(NLP)では、一般に、融合や凝集のような厳密な形態を持つ言語全体をラベル付けする。 本研究では,単語とセグメントレベルで形態型を定量化することにより,そのようなクレームの剛性を低減することを提案する。 本研究では, 英語, ドイツ語, トルコ語の非教師なし・教師付き形態素分割法について検討する一方, 融合ではスペイン語を用いた半自動手法を提案する。 そして、機械翻訳品質と単語(名詞と動詞)における合成・融合の程度との関係を分析する。
  論文  参考訳（メタデータ） (2022-05-06T17:04:58Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• BPE vs. Morphological Segmentation: A Case Study on Machine Translation of Four Polysynthetic Languages [38.5427201289742]
  4つの多義語に対する教師付きおよび教師なし形態素分割法について検討した。 機械翻訳の入力としてBPE(Byte-Pair s)に対してモルフォロジーにインスパイアされたセグメンテーション法を比較する。 我々は,Nahuatlを除くすべての言語対に対して,教師なし形態素分割アルゴリズムがBPEを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:27:20Z)
• Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
  L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。 形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
  論文  参考訳（メタデータ） (2021-03-30T18:02:58Z)
• Evaluation of Morphological Embeddings for the Russian Language [0.0]
  SkipgramObjectiveで訓練されたモルフォロジーベースの埋め込みは、既存の埋め込みモデル-FastTextを上回っません。 より複雑な、しかしモルフォロジーを知らないモデル、BERTは、単語のモルフォロジーの理解を必要とするタスクで大幅に大きなパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2021-03-11T11:59:11Z)
• Morphology Matters: A Multilingual Language Modeling Analysis [8.791030561752384]
  先行研究では、言語のモデル化が難しくなるかどうかについては意見が一致していない。 我々は92の言語で145の聖書翻訳のより大きなコーパスをコンパイルし、多くの類型的特徴を蓄積する。 いくつかの形態学的測定は、LSTMモデルがBPEセグメントデータで訓練されると、より高い推定値と有意に関連します。
  論文  参考訳（メタデータ） (2020-12-11T11:55:55Z)
• Neural disambiguation of lemma and part of speech in morphologically rich languages [0.6346772579930928]
  形態的に豊かな言語における不明瞭な単語の補題と発話の一部を曖昧にすることの問題点を考察する。 そこで本稿では, テキストの未注釈コーパスと形態素解析を用いて, 文脈におけるあいまいな単語の曖昧さを解消する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T21:48:52Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。