論文の概要: Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew

• arxiv url: http://arxiv.org/abs/2311.00658v1
• Date: Wed, 1 Nov 2023 17:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 12:53:19.038393
• Title: Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew
• Title（参考訳）: 明示的な形態的知識はヘブライ語モデルの事前学習を改善する
• Authors: Eylon Gueta, Omer Goldman, Reut Tsarfaty
• Abstract要約: 事前学習フェーズに明示的な形態的知識を組み込むことで、形態学的に豊かな言語に対するPLMの性能を向上させることができるという仮説を考察する。 本研究では, モデルが生テキスト以外の形態的手がかりを活用できるように, 様々な形態的トークン化手法を提案する。 実験により, 形態素によるトークン化は, 標準言語に依存しないトークン化と比較して, 改良された結果を示すことが示された。
• 参考スコア（独自算出の注目度）: 19.4968960182412
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained language models (PLMs) have shown remarkable successes in acquiring a wide range of linguistic knowledge, relying solely on self-supervised training on text streams. Nevertheless, the effectiveness of this language-agnostic approach has been frequently questioned for its sub-optimal performance when applied to morphologically-rich languages (MRLs). We investigate the hypothesis that incorporating explicit morphological knowledge in the pre-training phase can improve the performance of PLMs for MRLs. We propose various morphologically driven tokenization methods enabling the model to leverage morphological cues beyond raw text. We pre-train multiple language models utilizing the different methods and evaluate them on Hebrew, a language with complex and highly ambiguous morphology. Our experiments show that morphologically driven tokenization demonstrates improved results compared to a standard language-agnostic tokenization, on a benchmark of both semantic and morphologic tasks. These findings suggest that incorporating morphological knowledge holds the potential for further improving PLMs for morphologically rich languages.
• Abstract（参考訳）: 事前学習型言語モデル (PLM) は、テキストストリームの自己教師型トレーニングのみに頼って、幅広い言語知識の獲得に顕著な成功を収めている。 それでも、この言語非依存アプローチの有効性は、形態学的にリッチな言語 (mrls) に適用した場合、その準最適性能についてしばしば疑問視されてきた。 本研究では,事前学習フェーズに明示的な形態的知識を取り入れることで,MRLのPLMの性能を向上させることができるという仮説を考察する。 本稿では,本モデルが原文以外の形態素手がかりを活用できる様々な形態素駆動トークン化手法を提案する。 異なる手法を用いて,複数の言語モデルを事前学習し,複雑であいまいな形態を持つヘブライ語で評価する。 本実験は, 意味的タスクと形態的タスクのベンチマークにおいて, 標準的な言語に依存しないトークン化と比較して, 改良された結果を示すことを示した。 これらの結果から,形態学的知識を取り入れることで,形態学的に豊かな言語に対するPLMのさらなる改善の可能性が示唆された。

関連論文リスト

• Morphological Typology in BPE Subword Productivity and Language Modeling [0.0]
  合成および解析的形態構造を持つ言語に着目し,トークン化時の生産性について検討する。 合成特徴を持つ言語は、BPEトークン化により、より高いサブワード規則性と生産性を示す。
  論文  参考訳（メタデータ） (2024-10-31T06:13:29Z)
• Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
  最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。 英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。 以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
  論文  参考訳（メタデータ） (2024-10-17T09:48:08Z)
• Evaluating Morphological Compositional Generalization in Large Language Models [17.507983593566223]
  大規模言語モデル (LLM) の形態的一般化能力について, 構成性のレンズによる検討を行った。 我々はトルコ語やフィンランド語などの凝集言語に焦点を当てている。 解析の結果,LLMは特に新規語根に適用する場合,形態的構成一般化に苦慮していることが明らかとなった。 モデルは偶然よりも個々の形態的組み合わせを識別できるが、その性能は体系性に欠けており、人間に比べてかなりの精度の差が生じる。
  論文  参考訳（メタデータ） (2024-10-16T15:17:20Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition [6.767341847275751]
  本稿では, Byte Pairの適用課題に対処するために, サブ文字分解を利用した形態素認識サブワードトークン化手法を提案する。 我々のアプローチは、事前学習言語モデル(PLM)における言語精度と計算効率のバランスをとる 本手法は, NIKL-CoLAの構文的タスクにおいて, 総合的に優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-11-07T12:08:21Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Morphology Matters: A Multilingual Language Modeling Analysis [8.791030561752384]
  先行研究では、言語のモデル化が難しくなるかどうかについては意見が一致していない。 我々は92の言語で145の聖書翻訳のより大きなコーパスをコンパイルし、多くの類型的特徴を蓄積する。 いくつかの形態学的測定は、LSTMモデルがBPEセグメントデータで訓練されると、より高い推定値と有意に関連します。
  論文  参考訳（メタデータ） (2020-12-11T11:55:55Z)
• Morphologically Aware Word-Level Translation [82.59379608647147]
  本稿では,バイリンガルレキシコン誘導のための新しい形態素認識確率モデルを提案する。 我々のモデルは、レキセメが意味の鍵となる語彙単位であるという基本的な言語的直観を生かしている。
  論文  参考訳（メタデータ） (2020-11-15T17:54:49Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。