論文の概要: Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew

• arxiv url: http://arxiv.org/abs/2311.00658v1
• Date: Wed, 1 Nov 2023 17:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 12:53:19.038393
• Title: Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew
• Title（参考訳）: 明示的な形態的知識はヘブライ語モデルの事前学習を改善する
• Authors: Eylon Gueta, Omer Goldman, Reut Tsarfaty
• Abstract要約: 事前学習フェーズに明示的な形態的知識を組み込むことで、形態学的に豊かな言語に対するPLMの性能を向上させることができるという仮説を考察する。 本研究では, モデルが生テキスト以外の形態的手がかりを活用できるように, 様々な形態的トークン化手法を提案する。 実験により, 形態素によるトークン化は, 標準言語に依存しないトークン化と比較して, 改良された結果を示すことが示された。
• 参考スコア（独自算出の注目度）: 19.4968960182412
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained language models (PLMs) have shown remarkable successes in acquiring a wide range of linguistic knowledge, relying solely on self-supervised training on text streams. Nevertheless, the effectiveness of this language-agnostic approach has been frequently questioned for its sub-optimal performance when applied to morphologically-rich languages (MRLs). We investigate the hypothesis that incorporating explicit morphological knowledge in the pre-training phase can improve the performance of PLMs for MRLs. We propose various morphologically driven tokenization methods enabling the model to leverage morphological cues beyond raw text. We pre-train multiple language models utilizing the different methods and evaluate them on Hebrew, a language with complex and highly ambiguous morphology. Our experiments show that morphologically driven tokenization demonstrates improved results compared to a standard language-agnostic tokenization, on a benchmark of both semantic and morphologic tasks. These findings suggest that incorporating morphological knowledge holds the potential for further improving PLMs for morphologically rich languages.
• Abstract（参考訳）: 事前学習型言語モデル (PLM) は、テキストストリームの自己教師型トレーニングのみに頼って、幅広い言語知識の獲得に顕著な成功を収めている。 それでも、この言語非依存アプローチの有効性は、形態学的にリッチな言語 (mrls) に適用した場合、その準最適性能についてしばしば疑問視されてきた。 本研究では,事前学習フェーズに明示的な形態的知識を取り入れることで,MRLのPLMの性能を向上させることができるという仮説を考察する。 本稿では,本モデルが原文以外の形態素手がかりを活用できる様々な形態素駆動トークン化手法を提案する。 異なる手法を用いて,複数の言語モデルを事前学習し,複雑であいまいな形態を持つヘブライ語で評価する。 本実験は, 意味的タスクと形態的タスクのベンチマークにおいて, 標準的な言語に依存しないトークン化と比較して, 改良された結果を示すことを示した。 これらの結果から,形態学的知識を取り入れることで,形態学的に豊かな言語に対するPLMのさらなる改善の可能性が示唆された。

関連論文リスト

• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition [6.767341847275751]
  本稿では, Byte Pairの適用課題に対処するために, サブ文字分解を利用した形態素認識サブワードトークン化手法を提案する。 我々のアプローチは、事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる 本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-11-07T12:08:21Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Curriculum learning for language modeling [2.2475845406292714]
  自然言語処理コミュニティにとって、言語モデルはトランスフォーメーションであることが証明されている。 これらのモデルは高価でエネルギー集約的で、訓練が難しいことが証明されている。 カリキュラム学習は、代わりに構造化されたトレーニング体制を利用する方法である。
  論文  参考訳（メタデータ） (2021-08-04T16:53:43Z)
• Morphology Matters: A Multilingual Language Modeling Analysis [8.791030561752384]
  先行研究では、言語のモデル化が難しくなるかどうかについては意見が一致していない。 我々は92の言語で145の聖書翻訳のより大きなコーパスをコンパイルし、多くの類型的特徴を蓄積する。 いくつかの形態学的測定は、LSTMモデルがBPEセグメントデータで訓練されると、より高い推定値と有意に関連します。
  論文  参考訳（メタデータ） (2020-12-11T11:55:55Z)
• Morphologically Aware Word-Level Translation [82.59379608647147]
  本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。 我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
  論文  参考訳（メタデータ） (2020-11-15T17:54:49Z)
• Morphological Disambiguation from Stemming Data [1.2183405753834562]
  形態学的に豊かな言語であるKinyarwandaは、現在、自動形態素解析のためのツールを欠いている。 我々は、クラウドソーシングを通じて収集された新しいスリーミングデータセットから、Kinyarwandaの動詞形を形態的に曖昧にすることを学ぶ。 本実験により, 茎の屈折特性と形態素関連規則が, 曖昧さの最も識別的な特徴であることが判明した。
  論文  参考訳（メタデータ） (2020-11-11T01:44:09Z)
• Neural Named Entity Recognition for Kazakh [0.7646713951724009]
  形態的複素言語(MCL)における名前付き実体認識の課題に対処するニューラルネットワークをいくつか提示する。 カザフ語は形態的に複雑な言語であり、それぞれの根/幹が数百から数千の変種語を生成できる。
  論文  参考訳（メタデータ） (2020-07-17T16:45:22Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。