論文の概要: Evaluating Shortest Edit Script Methods for Contextual Lemmatization

• arxiv url: http://arxiv.org/abs/2403.16968v1
• Date: Mon, 25 Mar 2024 17:28:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 20:24:47.946484
• Title: Evaluating Shortest Edit Script Methods for Contextual Lemmatization
• Title（参考訳）: 文脈記述のための最短編集スクリプト手法の評価
• Authors: Olia Toporkov, Rodrigo Agerri,
• Abstract要約: 現代の文脈補綴器は、単語の形式を補題に変換するために、しばしば自動的に誘導された短い編集スクリプト(SES)に依存している。 これまでの研究では,SESが最終補修性能にどのような影響を及ぼすかは調査されていない。 ケーシング操作と編集操作を別々に計算することは、全体として有益であるが、高機能な形態を持つ言語には、より明確に有用であることを示す。
• 参考スコア（独自算出の注目度）: 6.0158981171030685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern contextual lemmatizers often rely on automatically induced Shortest Edit Scripts (SES), namely, the number of edit operations to transform a word form into its lemma. In fact, different methods of computing SES have been proposed as an integral component in the architecture of several state-of-the-art contextual lemmatizers currently available. However, previous work has not investigated the direct impact of SES in the final lemmatization performance. In this paper we address this issue by focusing on lemmatization as a token classification task where the only input that the model receives is the word-label pairs in context, where the labels correspond to previously induced SES. Thus, by modifying in our lemmatization system only the SES labels that the model needs to learn, we may then objectively conclude which SES representation produces the best lemmatization results. We experiment with seven languages of different morphological complexity, namely, English, Spanish, Basque, Russian, Czech, Turkish and Polish, using multilingual and language-specific pre-trained masked language encoder-only models as a backbone to build our lemmatizers. Comprehensive experimental results, both in- and out-of-domain, indicate that computing the casing and edit operations separately is beneficial overall, but much more clearly for languages with high-inflected morphology. Notably, multilingual pre-trained language models consistently outperform their language-specific counterparts in every evaluation setting.
• Abstract（参考訳）: 現代の文脈補綴器は、しばしば自動生成されたショートスト編集スクリプト(SES)、すなわち、単語形式を補題に変換するための編集操作の数に依存している。 実際、SESの様々な計算方法が、現在利用可能な最先端の文脈補間器のアーキテクチャにおける重要なコンポーネントとして提案されている。 しかし, 最終補修性能に対するSESの直接的影響は, これまでの研究では調査されていない。 本稿では,モデルが受信する唯一の入力がコンテキスト内の単語ラベルペアであり,ラベルが予め生成されたSESに対応するトークン分類タスクとして,補題化に着目してこの問題に対処する。 したがって、モデルが学習する必要があるSESラベルのみを補修システムに修正することにより、SES表現がどの補修結果に最適な結果をもたらすかを客観的に結論付けることができる。 我々は,英語,スペイン語,バスク語,ロシア語,チェコ語,トルコ語,ポーランド語の7言語を,多言語および言語固有のマスク付き言語エンコーダのみのモデルをバックボーンとして使用して実験を行った。 包括的実験結果(ドメイン内および外部の両方)は、ケーシングと編集操作を別々に計算することが、全体として有益であることを示しているが、高機能な形態を持つ言語ではより明確である。 特に、多言語事前学習言語モデルは、評価設定毎に言語固有のモデルよりも一貫して優れています。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• On the Role of Morphological Information for Contextual Lemmatization [7.106986689736827]
  6言語における文脈補間器の開発における形態情報の役割について検討する。 バスク語、トルコ語、ロシア語、チェコ語、スペイン語、英語。 実験により、ドメイン外で最高のレマタイザは、単純な UPOS タグを使ったものか、形態学なしで訓練されたものであることが示唆されている。
  論文  参考訳（メタデータ） (2023-02-01T12:47:09Z)
• KinyaBERT: a Morphology-aware Kinyarwanda Language Model [1.2183405753834562]
  教師なしサブワードトークン化法は、形態的にリッチな言語を扱うのに最適である。 本稿では, 形態素解析を応用し, 構造的構成性を明確に表現する, 単純かつ効果的な2層BERTアーキテクチャを提案する。 提案手法を低リソース形態素に富んだKinyaarwanda言語上で評価し,モデルアーキテクチャKinyaBERTを命名した。
  論文  参考訳（メタデータ） (2022-03-16T08:36:14Z)
• Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
  摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。 ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
  論文  参考訳（メタデータ） (2021-07-29T13:34:20Z)
• Seed Words Based Data Selection for Language Model Adaptation [11.59717828860318]
  本稿では,テキストコーパスから文を自動的に選択する手法を提案する。 ベースラインモデルの語彙は拡張・調整され、OOVレートが低下する。 異なる測定値(OOVレート, WER, 精度, リコール)を用いて, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-07-20T12:08:27Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。