論文の概要: AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages

• arxiv url: http://arxiv.org/abs/2610.33017v1
• Date: Thu, 08 Oct 2026 14:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.136048
• Title: AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages
• Title（参考訳）: AdaptTok-Indic: インデクス言語のためのスクリプト対応型適応トークン化
• Abstract要約: AdaptTok-Indicは適応トークン化の拡張である。 Unicode正規化前処理と明示的なIndic接続処理、スクリプト対応ルーティング、学習バイトレベルの境界予測を組み合わせる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual tokenizers trained on English-dominated corpora often over-segment Indic languages, resulting in longer token sequences and increased tokenization disparity across scripts. We present AdaptTok-Indic, an Indic-specialized extension of adaptive tokenization that combines Unicode-normalized preprocessing with explicit Indic conjunct handling, script-aware routing, and learned byte-level boundary prediction jointly trained with a small Transformer language model. Evaluated on Bengali and Hindi, with additional evaluation on Gujarati, Tamil, and Telugu, AdaptTok-Indic achieves lower token fertility than SentencePiece BPE, an Indic-oriented tokenizer baseline, and an independently implemented MAGNET-style baseline. Across five recorded seeds, mean fertility is 1.432 for Bengali and 1.388 for Hindi, compared with 2.156 and 2.085 for SentencePiece BPE. Recorded downstream scores average 57.69 on evaluated Indic settings versus 50.82 for the SentencePiece BPE configuration. Independent verification runs using the released prototype confirm the same directional trends. The current implementation is a small-scale prototype with documented simplifications, and no statistical significance testing, released-MAGNET comparison, or code-mixed evaluation is performed. These results suggest that Indic-specialized adaptive segmentation can reduce tokenization disparity while maintaining competitive downstream performance.
• Abstract（参考訳）: 英語が支配するコーパスで訓練された多言語トークンライザは、しばしば過剰にセグメントされたIndic言語であり、結果としてトークンシーケンスが長くなり、スクリプト間でトークン化の格差が増大する。 Indic-specialized extension of AdaptTok-IndicはUnicode-normalized preprocessingと明示的なIndic Conjunct handle, script-aware routingと、小さなTransformer言語モデルでトレーニングされたバイトレベルの境界予測を組み合わせた適応トークン化の拡張である。 AdaptTok-Indicは、Indic-oriented tokenizerのベースラインであるSentencePiece BPEや、独自に実装されたMAGNETスタイルのベースラインよりも低いトークンの肥大化を実現している。 記録された5種の種子のうち、平均受精率はベンガルが1.432、ヒンディー語が1.388であり、センテンスピース BPEが2.156、2.085である。 ダウンストリームのスコアは評価済みのIndic設定で平均57.69点、SentencePiece BPE設定では50.82点である。 リリースされたプロトタイプを使って独立した検証を実行すると、同じ方向性の傾向が確認できる。 現在の実装は、文書化された単純化を施した小規模なプロトタイプであり、統計的に有意なテスト、リリース-MAGNET比較、コード混合評価は行われていない。 これらの結果から,Indic-specialized Adaptive segmentationは,ダウンストリーム性能の競争力を維持しつつ,トークン化の相違を低減できることが示唆された。

関連論文リスト

• A Grapheme-Aware Indic Tokenizer for Tamil: Large-Scale Training and Intrinsic Evaluation [0.0]
  本稿では,完全なGraphemeクラスタを保持するTamil用のGrapheme対応Indicトークンについて述べる。 トークン化器は、トランスフォーマーベースの言語モデルと完全に互換性を維持しながら、言語的に意味のあるトークン境界を生成する。
  論文  参考訳（メタデータ） (2026-09-06T16:01:26Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3 [4.284434049360481]
  本稿では、SentencePiece Unigramアルゴリズム上に構築されたアラビア最適化トークンであるAraTokenを紹介する。 正常化したSentencePieceは、非正規化ベースラインに比べて18%低い受精率(1.199対1.35トークン/ワード)を達成することを示す。 実験の結果,LEPは100Kアラビアサンプルの800段階において,評価損失を8.28から2.43に減少させることがわかった。
  論文  参考訳（メタデータ） (2025-12-20T15:32:10Z)
• Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization [53.22544362024936]
  トークン化は、ほとんどのNLPパイプラインの最初の、そして最も精査されていないステップである。 トークンの学習のための標準的なアルゴリズムは、周波数ベースの目的に依存している。 本稿ではParity-aware Byte Pairを紹介する。 私たちは、パリティを意識したBPEが言語間でより公平なトークン数をもたらすことを実証的に見出した。
  論文  参考訳（メタデータ） (2025-08-06T18:14:43Z)
• Tokenization Matters: Improving Zero-Shot NER for Indic Languages [2.964265227875254]
  トークン化は自然言語処理(NLP)の重要な構成要素である この研究は、BPE、SentencePiece、およびIndic言語を用いた文字レベルのトークン化戦略を体系的に比較する。 その結果、SentencePieceは低リソースのIndic言語において、NERのBPEよりも一貫して優れたパフォーマンスのアプローチであることがわかった。
  論文  参考訳（メタデータ） (2025-04-23T17:28:38Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。