論文の概要: Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog

• arxiv url: http://arxiv.org/abs/2610.20859v1
• Date: Wed, 14 Oct 2026 19:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.046678
• Title: Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
• Title（参考訳）: トークン化のための形態的正確性は重要か? : タガログにおけるスクランブル制御研究
• Abstract要約: タガログには接頭辞(s-um-ulat 'wrote', s-in-ulat ' was written')があるので、根は連続的ではなく、BPEマージのシーケンスが回復できない。 MorphAustro-Tokは、ルートを連続した単位として出力し、次に位置固定トークンを生成するトークンである。 33回の実行でMorphAustro-Tokは、マッチングされたBPE上でのタガログ機械翻訳を0.84、1.49、および3.40の平均文レベル chrF++ ポイントで改善した。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typology-aware tokenizers are motivated by the claim that segmentation which respects morpheme boundaries preserves information that frequency-driven segmentation destroys. Studies routinely establish that it helps while assuming the boundaries must be linguistically correct. We separate them. Tagalog marks voice with infixes (s-um-ulat 'wrote', s-in-ulat 'was written'), so the root is not contiguous and no sequence of BPE merges can recover it. We build MorphAustro-Tok, a tokenizer that emits the root as a contiguous unit followed by a positional infix token, and compare it against a corpus-matched BPE baseline and, at two of three fertility levels, against a scrambled-morpheme control that preserves morph count, invertibility and per-type consistency while randomising the pseudo-infix. Across 33 runs, MorphAustro-Tok improves Tagalog machine translation over matched BPE by 0.84, 1.49 and 3.40 mean sentence-level chrF++ points. Token count does not explain the gain, since it grows as segmentation coarsens, and neither does capacity: at the coarsest level the scrambled arm carries more parameters and scores lower. Scrambling the analysis moves the gain by less than between-seed dispersion at both controlled levels, so we detect no contribution from morphological correctness at this scale.
• Abstract（参考訳）: 形態素境界を尊重するセグメンテーションは周波数駆動セグメンテーションが破壊する情報を保存するという主張によって、タイポロジーを意識したトークン化器が動機付けられる。 研究は、境界が言語的に正しいと仮定しながら、それが役に立つことを日常的に確立する。 私たちはそれらを分離します。 タガログは接頭辞(s-um-ulat 'wrote'、s-in-ulat 'was written')で音声をマークしているため、根は連続せず、BPEマージのシーケンスは回復できない。 擬似固定をランダム化しながら, 形態数, 可逆性, 型ごとの整合性を保ったスクランブル・モーフィム制御に対して, コーパスマッチングされたBPEベースラインと3つの受精レベルのうちの2つを比較し, 固定単位としてルートを出力するトークン化器であるMorphAustro-Tokを構築した。 33回の実行でMorphAustro-Tokは、マッチングされたBPE上でのタガログ機械翻訳を0.84、1.49、および3.40の平均文レベル chrF++ ポイントで改善した。 トーケン・カウントは、セグメンテーション・コーセンとして成長し、キャパシティも説明しない:最も粗いレベルでは、スクランブルされたアームはより多くのパラメータを持ち、スコアは低い。 解析のスクランブルは両制御レベルでの種間分散よりも利得を小さくするので、このスケールでの形態的正しさによる寄与は見つからない。

関連論文リスト

• Content is What Remains: Invariant Speech Tokenization from Parallel Utterances [8.166364251367627]
  PINTはSSLエンコーダを微調整し、並列発話におけるアライメント損失と、この共有残基を蒸留するために拡張する。 ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。
  論文  参考訳（メタデータ） (2026-07-21T12:19:38Z)
• Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors [0.2663471820643486]
  NC-FFNはGELUベースラインのパープレキシティを結び、各ユニットは明示的な論理形式を持つ。 どちらも、シーケンス量子化器の小さなブロックで解決する。 その結果、パラメータニュートラルな言語モデル品質トランスが実現した。
  論文  参考訳（メタデータ） (2026-06-30T15:46:27Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment [8.097278579432908]
  トークン化アルゴリズムの選択はパフォーマンスに影響する最も重要な要因であり、Unigramベースのトークン化アルゴリズムは、ほとんどの設定において一貫してBPEを上回っている。 より優れた形態的アライメントは、テキスト分類や構造予測タスクのパフォーマンスと適度で正の相関を示すが、その影響はトークン化アルゴリズムに準じる。
  論文  参考訳（メタデータ） (2025-08-11T19:23:59Z)
• Diagnosing Memorization in Chain-of-Thought Reasoning, One Token at a Time [39.76650763934455]
  本稿では,覚書レベル同定のための新しいフレームワークSTIMを紹介する。 ローカルな暗記がしばしばエラーの主要な要因であることを示し、間違ったトークンの最大67%に繋がる。 STIMは、モデル推論の診断と改善のための強力なツールを提供し、他の構造化ステップワイズ生成タスクに一般化することができる。
  論文  参考訳（メタデータ） (2025-08-04T04:06:34Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
  大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。 それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。 我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
  論文  参考訳（メタデータ） (2025-06-07T00:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。