論文の概要: Why do language models perform worse for morphologically complex languages?

• arxiv url: http://arxiv.org/abs/2411.14198v1
• Date: Thu, 21 Nov 2024 15:06:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:19:35.819573
• Title: Why do language models perform worse for morphologically complex languages?
• Title（参考訳）: なぜ言語モデルは、形態学的に複雑な言語に対して悪い結果をもたらすのか?
• Authors: Catherine Arnett, Benjamin K. Bergen,
• Abstract要約: 凝集型言語と融合型言語のパフォーマンスギャップを示す新たな証拠が発見された。 この性能ギャップの原因として, トークン化剤の形態的アライメント, トークン化品質, データセットサイズと測定の差異の3つが考えられる。 以上の結果から,言語モデルが形態的類型学に基づいて学習することが困難あるいは容易な言語は存在しないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.913127392774573
• License:
• Abstract: Language models perform differently across languages. It has been previously suggested that morphological typology may explain some of this variability (Cotterell et al., 2018). We replicate previous analyses and find additional new evidence for a performance gap between agglutinative and fusional languages, where fusional languages, such as English, tend to have better language modeling performance than morphologically more complex languages like Turkish. We then propose and test three possible causes for this performance gap: morphological alignment of tokenizers, tokenization quality, and disparities in dataset sizes and measurement. To test the morphological alignment hypothesis, we present MorphScore, a tokenizer evaluation metric, and supporting datasets for 22 languages. We find some evidence that tokenization quality explains the performance gap, but none for the role of morphological alignment. Instead we find that the performance gap is most reduced when training datasets are of equivalent size across language types, but only when scaled according to the so-called "byte-premium" -- the different encoding efficiencies of different languages and orthographies. These results suggest that no language is harder or easier for a language model to learn on the basis of its morphological typology. Differences in performance can be attributed to disparities in dataset size. These results bear on ongoing efforts to improve performance for low-performing and under-resourced languages.
• Abstract（参考訳）: 言語モデルは言語によって異なる。 以前にも、形態学的類型学は、この変異の一部を説明できる可能性が示唆されている(Cotterell et al , 2018)。 従来の分析を再現し、トルコ語のような形態学的に複雑な言語よりも、英語のような融合言語の方が優れた言語モデリング性能を持つ傾向にある凝集言語と融合言語のパフォーマンスギャップを示す新たな証拠を見出した。 次に, この性能ギャップの原因として, トークン化剤の形態的アライメント, トークン化品質, データセットサイズと測定の差異の3つを提案する。 形態的アライメント仮説をテストするため,22言語を対象としたトークン化評価指標であるMorphScoreを提案する。 トークン化の品質がパフォーマンスギャップを説明できるという証拠はいくつかありますが、形態的アライメントの役割については見当たりません。 その代わり、トレーニングデータセットが言語タイプ間で同等のサイズである場合、パフォーマンスのギャップが最も小さくなるのは、いわゆる"バイトプレミウム"(byte-premium)に従ってスケールした場合だけです。 これらの結果から,言語モデルが形態的類型学に基づいて学習することが困難あるいは容易な言語は存在しないことが示唆された。 パフォーマンスの違いは、データセットサイズの違いに起因する可能性がある。 これらの結果は、低パフォーマンスで低リソースな言語のパフォーマンスを改善するための継続的な努力に費やされている。

関連論文リスト

• Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5 [4.779196219827507]
  トークン化の影響を、mT5とByT5という2つの多言語言語モデルと対比して捉えた。 4つのタスクと17の言語でこれらのモデルに符号化された形態学的知識を解析した結果、モデルが他の言語よりも優れた形態学系を学習していることが判明した。
  論文  参考訳（メタデータ） (2024-10-15T14:14:19Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change [6.7485485663645495]
  まず,10個のデータセット上での多言語ニューラル言語モデル(XLM-R)の性能を比較し,その性能を7つの言語で比較した。 この結果から,XLM-Rによる文法プロファイルのアンサンブルにより,ほとんどのデータセットや言語における意味変化検出性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-04-12T11:20:42Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Enhancing deep neural networks with morphological information [0.0]
  LSTMモデルとBERTモデルに形態学的特徴を加える効果を解析した。 その結果, 形態的特徴の付加は, 特徴の質や課題によって異なることが示唆された。
  論文  参考訳（メタデータ） (2020-11-24T22:35:44Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。