論文の概要: Tokens with Meaning: A Hybrid Tokenization Approach for NLP

• arxiv url: http://arxiv.org/abs/2508.14292v1
• Date: Tue, 19 Aug 2025 22:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.282641
• Title: Tokens with Meaning: A Hybrid Tokenization Approach for NLP
• Title（参考訳）: 意味を持つトークン: NLPのためのハイブリッドトークン化アプローチ
• Authors: M. Ali Bayram, Ali Arda Fincan, Ahmet Semih Gümüş, Sercan Karakaş, Banu Diri, Savaş Yıldırım, Demircan Çelik,
• Abstract要約: 自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
• 参考スコア（独自算出の注目度）: 0.2826977330147589
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tokenization plays a pivotal role in natural language processing (NLP), shaping how text is segmented and interpreted by language models. While subword methods such as Byte Pair Encoding (BPE) and WordPiece have been effective, they often struggle with morphologically rich and agglutinative languages because they rely on frequency rather than linguistic structure. We introduce a hybrid tokenization framework that combines rule-based morphological analysis with statistical subword segmentation. The method uses phonological normalization, root-affix dictionaries, and a novel algorithm that balances morpheme preservation with vocabulary efficiency. It assigns shared identifiers to phonologically variant affixes (e.g., -ler and -lar) and altered root forms (e.g., kitap vs. kitab{\i}), reducing redundancy while maintaining semantic integrity. Special tokens are added for whitespace and case, including an UPPERCASE marker to avoid vocabulary inflation from capitalization. BPE is integrated for out-of-vocabulary coverage without harming morphological coherence. On the TR-MMLU benchmark, the tokenizer achieves the highest Turkish Token Percentage (90.29\%) and Pure Token Percentage (85.8\%). Comparisons with tokenizers from LLaMA, Gemma, and GPT show more linguistically meaningful and coherent tokens. Although demonstrated on Turkish, the approach is language-independent and adaptable to other languages, offering a practical path toward more interpretable and effective multilingual NLP systems.
• Abstract（参考訳）: トークン化は自然言語処理(NLP)において重要な役割を担い、テキストのセグメント化や言語モデルによる解釈の仕方を形作る。 BPE(Byte Pair Encoding)やWordPiece(WordPiece)といったサブワードの手法は有効であるが、言語構造よりも周波数に依存しているため、形態的にリッチで凝集的な言語に苦慮することが多い。 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, 根接辞, 形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。 共有識別子を音韻的に変化した接尾辞(例: -ler と -lar)に割り当て、変化した根形(例: kitap vs. kitab{\i})を割り当て、意味的整合性を維持しながら冗長性を減少させる。 特殊トークンは、資本化から語彙インフレーションを避けるためにUPPERCASEマーカーを含む、ホワイトスペースやケースのために追加される。 BPEは、形態的コヒーレンスを損なうことなく、語彙外カバレッジのために統合されている。 TR-MMLUベンチマークでは、トークン化剤が最も高いトルコのトークンパーセンテージ(90.29.%)と純粋トークンパーセンテージ(85.8.%)を達成している。 LLaMA、Gemma、GPTのトークン化剤と比較すると、より言語的に意味があり、一貫性のあるトークンが示される。 トルコ語で実証されているが、この手法は言語に依存しず、他の言語にも適応可能であり、より解釈可能で効果的な多言語NLPシステムへの実践的な道筋を提供する。

関連論文リスト

• Comparative analysis of subword tokenization approaches for Indian languages [5.012314384895538]
  トークン化(Tokenization)とは、テキストを小さな部分(トークン)に分割することで、機械が処理しやすいようにする行為である。 サブワードトークン化は、単語を小さなサブワード単位に分割することで、このプロセスを強化する。 これは、接頭辞、接尾辞、その他の形態変化など、インドの言語(IL)における単語の複雑な構造を捉えるのに有用である。 本稿では,SentencePiece,Byte Pair,WordPiece Tokenizationなどのサブワードトークン技術がILに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-22T16:24:37Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [23.58043476541051]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 サブワードのトークン化に先立って,形態素認識のセグメンテーションを事前学習ステップとして提案する。 また,スクリプト固有の制約を組み込んだ従来のBPEアルゴリズムの拡張であるConstrained BPEを導入する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• Splintering Nonconcatenative Languages for Better Tokenization [4.496923806879088]
  本稿では,テキストを線形形式に再構成する前処理ステップであるSPLINTERを提案する。 我々は、ヘブライ語、アラビア語、マレー語におけるトークン語彙を評価する本質的な尺度を用いて、そのメリットを実証する。
  論文  参考訳（メタデータ） (2025-03-18T17:11:09Z)
• SuperBPE: Space Travel for Language Models [112.64910939119056]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• A Vocabulary-Free Multilingual Neural Tokenizer for End-to-End Task Learning [8.052271364177988]
  サブワードトークン化は、最近のNLPモデルで一般的に使われる入力前処理のステップである。 本稿では,サブワードトークン化からセグメンテーション情報を抽出し,語彙自由なニューラルトークン化手法を提案する。 我々のトークンライザは、多言語(NLI)タスクとコードスイッチング(センチメント分析)タスクのパフォーマンスを一貫して改善します。
  論文  参考訳（メタデータ） (2022-04-22T16:50:49Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。