論文の概要: MoVoC: Morphology-Aware Subword Construction for Geez Script Languages

• arxiv url: http://arxiv.org/abs/2509.08812v1
• Date: Wed, 10 Sep 2025 17:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.538082
• Title: MoVoC: Morphology-Aware Subword Construction for Geez Script Languages
• Title（参考訳）: MoVoC: Geezスクリプト言語のための形態認識サブワード構築
• Authors: Hailay Kidu Teklehaymanot, Dren Fazlija, Wolfgang Nejdl,
• Abstract要約: サブワードベースのトークン化法は、しばしば形態的境界を維持するのに失敗する。 我々はMoVoC(Morpheme-aware Subword Vocabulary Construction)とMoVoC-Tokをトレーニングする。
• 参考スコア（独自算出の注目度）: 7.7761618950496265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subword-based tokenization methods often fail to preserve morphological boundaries, a limitation especially pronounced in low-resource, morphologically complex languages such as those written in the Geez script. To address this, we present MoVoC (Morpheme-aware Subword Vocabulary Construction) and train MoVoC-Tok, a tokenizer that integrates supervised morphological analysis into the subword vocabulary. This hybrid segmentation approach combines morpheme-based and Byte Pair Encoding (BPE) tokens to preserve morphological integrity while maintaining lexical meaning. To tackle resource scarcity, we curate and release manually annotated morpheme data for four Geez script languages and a morpheme-aware vocabulary for two of them. While the proposed tokenization method does not lead to significant gains in automatic translation quality, we observe consistent improvements in intrinsic metrics, MorphoScore, and Boundary Precision, highlighting the value of morphology-aware segmentation in enhancing linguistic fidelity and token efficiency. Our morpheme-annotated datasets and tokenizer will be publicly available to support further research in low-resource, morphologically rich languages. Our code and data are available on GitHub: https://github.com/hailaykidu/MoVoC
• Abstract（参考訳）: サブワードベースのトークン化法は、しばしば形態的境界を維持するのに失敗するが、特にゲエズ文字のような低リソースで形態学的に複雑な言語で発音される制限である。 そこで本研究では,MoVoC (Morpheme-aware Subword Vocabulary Construction) とMoVoC-Tokをトレーニングする。 このハイブリッドセグメンテーションアプローチは、形態素ベースとByte Pair Encoding(BPE)トークンを組み合わせて、語彙的意味を維持しながら形態的整合性を維持する。 資源不足に対処するために,4つのGeezスクリプト言語と2つの形態素認識語彙に対して,手動でアノテートした形態素データをキュレートし,リリースする。 提案手法は, 自動翻訳の品質向上に寄与しないが, 内在的指標, MorphoScore, 境界精度の連続的な改善を観察し, 言語的忠実度向上とトークン効率向上における形態素認識セグメンテーションの価値を強調した。 我々の形態素アノテーション付きデータセットとトークン化器は、低リソースで形態学的にリッチな言語におけるさらなる研究を支援するために公開されます。 私たちのコードとデータはGitHubで入手可能です。

関連論文リスト

• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• Morphological evaluation of subwords vocabulary used by BETO language model [0.1638581561083717]
  サブワードのトークン化アルゴリズムはより効率的で、人間の介入なしに単語とサブワードの語彙を独立して構築することができる。 本研究では,これらの語彙と言語の形態の重なり合いに着目し,語彙の形態的品質を評価する手法を提案する。 この手法をBPE,Wordpiece,Unigramの3つのサブワードトークン化アルゴリズムによって生成された語彙に適用することにより,これらの語彙は一般に非常に低い形態的品質を示すと結論付けた。 この評価は、著者の主張の不整合を考慮し、トークン化器、すなわちWordpieceが使用するアルゴリズムを明らかにするのに役立ちます。
  論文  参考訳（メタデータ） (2024-10-03T08:07:14Z)
• Unsupervised Morphological Tree Tokenizer [36.584680344291556]
  トークン化のための形態的構造ガイダンスを導入し、単語の文字レベル構造を誘導する深層モデルを提案する。 本手法は,アノテート学習データなしで形態素規則に整合した文字レベルの構造を誘導することができる。 実験の結果,提案手法は完全形態素を効果的に保持し,BPEやWordPieceといった広く採用されている手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T15:35:49Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• UniMorph 4.0: Universal Morphology [104.69846084893298]
  本稿は,過去2年間のいくつかの前線における展開と改善について述べる。 多くの言語学者による共同作業により、30の絶滅危惧言語を含む67の新しい言語が追加された。 前回のUniMorphリリースに合わせて,16言語で形態素セグメンテーションを施したデータベースも拡張した。
  論文  参考訳（メタデータ） (2022-05-07T09:19:02Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation [8.87546236839959]
  ニューラル機械翻訳(NMT)のソース側における形態素単語分割法を提案する。 形態学の知識を取り入れて、単語構造における言語情報や意味情報を保存し、訓練時の語彙サイズを小さくする。 これは、他の自然言語処理(NLP)タスクのために、単語を集約言語に分割する前処理ツールとして利用することができる。
  論文  参考訳（メタデータ） (2020-01-02T10:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。