論文の概要: Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali

• arxiv url: http://arxiv.org/abs/2609.33395v1
• Date: Sun, 27 Sep 2026 09:18:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:23:50.944426
• Title: Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali
• Title（参考訳）: モルフェの保存--ネパールのモルフォロジー・ガイドによるプレトケナイゼーション
• Abstract要約: バイトレベルのBPE語彙はネパール語の各動詞の屈折形を独立した文字列として学習するので、名詞の幹はその格付形式ごとに異なる綴りで綴られる。 BPEの前に単語を幹と接尾辞に分割するかどうかを, コーパス, 語彙サイズ, モデル, トレーニングステップ数で検証した。 われわれの先駆者であるパパヤヤは、ネパール語の文法から作られた有限状態のトランスデューサを使用し、正規表現にフォールバックし、BPEトレーナーをそのまま残している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A byte-level BPE vocabulary learns each inflected form of a Nepali word as a separate string, so a noun stem is spelled differently in each of its case-marked forms. We test whether splitting words into stem and affixes before BPE helps, with the corpus, vocabulary size, model and number of training steps held fixed. Our pre-tokenizer, Papaya, uses a finite-state transducer built from a published grammar of Nepali, falls back to regular expressions, and leaves the BPE trainer unchanged. On 607 words annotated by seven native speakers its segmenter reaches 0.96 boundary F1, and the resulting tokens keep stems intact far more often than plain BPE does. In a 17M-parameter language model it lowers bits per byte by about 1% at equal training steps; most of the larger gain seen at equal epochs comes from the extra steps that longer token sequences buy, and an unsupervised Morfessor segmentation gives the same improvement. Downstream the effect is small: NER improves only on entities that contain words unseen in training, POS tagging and news classification do not change, and published Nepali tokenizers perform about as well. We release the annotated boundary set, a 556-affix dataset and the code.
• Abstract（参考訳）: バイトレベルのBPE語彙はネパール語の各動詞の屈折形を独立した文字列として学習するので、名詞の幹はその格付形式ごとに異なる綴りで綴られる。 BPEの前に単語を幹と接尾辞に分割するかどうかを, コーパス, 語彙サイズ, モデル, トレーニングステップ数で検証した。 われわれの先駆者であるパパヤヤは、ネパール語の文法から作られた有限状態のトランスデューサを使用し、正規表現にフォールバックし、BPEトレーナーをそのまま残している。 7つのネイティブ話者によって注釈付けされた607語について、セグメンタは0.96境界F1に達する。 17Mパラメータ言語モデルでは、同じトレーニングステップでバイト当たりのビット数を約1%削減する。同じエポックで見られる大きな利得のほとんどは、トークンシーケンスが長い場合の余分なステップによるものであり、教師なしのMorfessorセグメンテーションは、同じ改善をもたらす。 NERはトレーニングで見えない単語を含むエンティティのみを改善し、POSタグ付けとニュース分類は変わらない。 アノテーション付きバウンダリセット、556のアフィクスデータセットとコードをリリースします。

関連論文リスト

• Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
  バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。 BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。 平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。 5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
  論文  参考訳（メタデータ） (2026-08-26T22:56:24Z)
• Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding [0.0]
  Pruned BPEは、学習後の可視性とトークンの配置方法である。 マージ構造とモデル可視語彙選択を分離する。 実験により、Pruned BPEは標準BPEと比較してエンコード長を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-01T19:34:44Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。