論文の概要: From Characters to Tokens: Dynamic Grouping with Hierarchical BPE

• arxiv url: http://arxiv.org/abs/2510.15517v1
• Date: Fri, 17 Oct 2025 10:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.582201
• Title: From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
• Title（参考訳）: 文字からトークンへ:階層的BPEを用いた動的グループ化
• Authors: Rares Dolga, Lucas Maystre, Tudor Berariu, David Barber,
• Abstract要約: 代名詞のトークン化法は、大きな言語モデルで広く使われている。 稀な単語を表現するのに非効率で、大きな埋め込み行列を必要とする。 本稿では,既存のBPEトークン化の構造を利用した動的文字グループ化手法を提案する。
• 参考スコア（独自算出の注目度）: 7.301118515210817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subword tokenization methods like Byte Pair Encoding (BPE) are widely used in large language models due to their balance of vocabulary compactness and representational power. However, they suffer from inefficiencies in representing rare words and require large embedding matrices. Character-level models address these issues but introduce performance bottlenecks, particularly in Transformer-based architectures. Recent hierarchical models attempt to merge the benefits of both paradigms by grouping characters into patches, but existing patching strategies either rely on whitespace-limiting applicability to certain languages, or require auxiliary models that introduce new dependencies. In this paper, we propose a dynamic character grouping method that leverages the structure of existing BPE tokenization without requiring additional models. By appending explicit end-of-patch markers to BPE tokens and introducing a second-level BPE compression stage to control patch granularity, our method offers efficient, flexible, and language-agnostic representations. Empirical results demonstrate that our approach matches or exceeds the performance of dynamic entropy- and whitespace-based patching strategies, while maintaining a compact vocabulary.
• Abstract（参考訳）: Byte Pair Encoding (BPE) のようなサブワードのトークン化手法は、語彙のコンパクトさと表現力のバランスのため、大きな言語モデルで広く使われている。 しかし、希少な単語を表現するのに非効率に悩まされ、大きな埋め込み行列を必要とする。 キャラクタレベルのモデルはこれらの問題に対処するが、特にTransformerベースのアーキテクチャではパフォーマンスのボトルネックを導入する。 最近の階層モデルは、文字をパッチにグループ化することで両方のパラダイムの利点を融合させようとするが、既存のパッチ戦略は、特定の言語へのホワイトスペース制限の適用性に依存するか、新しい依存関係を導入する補助モデルを必要とする。 本稿では,既存のBPEトークン化の構造を利用する動的文字グループ化手法を提案する。 BPEトークンに明示的な終端マーカを付加し、パッチの粒度を制御するための第2レベルのBPE圧縮ステージを導入することにより、効率よく、柔軟で、言語に依存しない表現を提供する。 実験により,我々のアプローチは,コンパクトな語彙を維持しつつ,動的エントロピーおよびホワイトスペースベースのパッチング戦略の性能と一致しているか,超越しているかを示す。

関連論文リスト

• Dynamic Chunking for End-to-End Hierarchical Sequence Modeling [17.277753030570263]
  本稿では,コンテンツとコンテキストに依存したセグメンテーション戦略を自動的に学習する動的チャンキング機構を実現する手法を提案する。 これを明示的な階層ネットワーク(H-Net)に組み込むことで、(単純に階層的な)トークン化-LM-detokenizationパイプラインを、完全にエンドツーエンドに学習した単一のモデルに置き換えることができる。 階層を複数のステージに反復すると、複数の抽象化レベルをモデル化することで、そのパフォーマンスがさらに向上する。 英語で事前訓練されたH-Netは、文字レベルの堅牢性を大幅に向上させ、意味のあるデータ依存のチャンキング戦略を、明確な監督なしに質的に学習する。
  論文  参考訳（メタデータ） (2025-07-10T17:39:37Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [23.58043476541051]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 サブワードのトークン化に先立って,形態素認識のセグメンテーションを事前学習ステップとして提案する。 また,スクリプト固有の制約を組み込んだ従来のBPEアルゴリズムの拡張であるConstrained BPEを導入する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  本研究では,コンテキストbfTextualized equivaritextbfAnt textbfPosition textbfEncoding(textbfTAPE)を提案する。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• When Every Token Counts: Optimal Segmentation for Low-Resource Language Models [0.0]
  最適Byte-Pair(BPE)構成は,グリーディセグメンテーションに比べてトークン数を大幅に削減することを示す。 この結果から,圧縮最適化トークン化戦略が多言語および低リソース言語アプリケーションに多大なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-09T19:11:54Z)
• OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
  言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。 我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
  論文  参考訳（メタデータ） (2023-11-15T10:40:45Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。