論文の概要: A Triadic Suffix Tokenization Scheme for Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2604.11582v1
• Date: Mon, 13 Apr 2026 14:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.634073
• Title: A Triadic Suffix Tokenization Scheme for Numerical Reasoning
• Title（参考訳）: 数値推論のための三進接尾辞化方式
• Abstract要約: 本稿では,3桁を3桁の3桁に分割し,各3桁を明示的な大きさのマーカーで注釈する決定論的スキームであるTST(Tiadic Suffix Tokenization)を紹介する。 このスキームは、接尾辞と整数部分の桁数の間の固定された1対1の写像を定義する。 1) 既存の語彙に少なくとも10,000の固定トークンを追加し、33桁のマグニチュード(10〜15ドルから1018ドル)をカバーした語彙ベースのアプローチと、(2) 特別なトークンの小さなセットを使って動的に大きさを示す接尾辞マーカアプローチである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard subword tokenization methods fragment numbers inconsistently, causing large language models (LLMs) to lose positional and decimal structure - a primary driver of errors in arithmetic and scientific reasoning. We introduce Triadic Suffix Tokenization (TST), a deterministic scheme that partitions digits into three-digit triads and annotates each triad with an explicit magnitude marker. Critically, the scheme defines a fixed, one-to-one mapping between suffixes and orders of magnitude for the integer part (thousands, millions, billions, etc.) and a parallel system of replicated markers for fractional depth (tenths, thousandths, millionths, etc.). Unlike approaches that rely on positional inference, this method provides a consistent gradient signal, which should ensure stable convergence. Two implementation variants are proposed: (1) a vocabulary-based approach that adds at most 10,000 fixed tokens to an existing vocabulary, covering 33 orders of magnitude ($10^{-15}$ to $10^{18}$); and (2) a suffix-marker approach that uses a small set of special tokens to denote magnitude dynamically. Both variants preserve exact digits while making order-of-magnitude relationships transparent at the token level. The framework is inherently scalable, allowing for linear vocabulary expansion to accommodate arbitrary precision and range. TST is architecture-agnostic and can be integrated as a drop-in preprocessing step. Experimental validation is deferred to future work.
• Abstract（参考訳）: 標準的なサブワードのトークン化手法ではフラグメント番号が矛盾し、大きな言語モデル(LLM)が位置構造と十進構造を失う。 本稿では,3桁を3桁の3桁に分割し,各3桁に明示的な大きさのマーカーを付加する決定論的スキームであるTST(Tiadic Suffix Tokenization)を導入する。 批判的に、このスキームは整数部分(千、百万、億等)の接尾辞と等級の階数の間の固定された1対1の写像と、分数深さ(十、千、百万等)の複写マーカーの並列系を定義する。 位置推定に依存するアプローチとは異なり、この手法は安定した収束を保証するために一貫した勾配信号を提供する。 1) 既存の語彙に少なくとも10,000の固定トークンを追加し、33桁の等級をカバーする語彙に基づくアプローチ(10^{-15}$から10^{18}$) と、(2) 特別なトークンの小さなセットを使って動的に等級を表す接尾辞マーカアプローチである。 両方の変種は、トークンレベルで秩序関係を透明化しながら、正確な桁を保存する。 このフレームワークは本質的にスケーラブルであり、線形語彙拡張により任意の精度と範囲を許容できる。 TSTはアーキテクチャに依存しないため、ドロップイン前処理ステップとして統合することができる。 実験的な検証は将来の作業に延期される。

関連論文リスト

• Accelerating Diffusion Language Models via Structured Suffix Modeling [16.43422630439004]
  Diffusion Language Models (DLM) は、複数のトークンを1世代で識別することで、強力な並列デコーディング能力を示す。 既存の方法では、ローカルな接尾辞ウィンドウのみをフル接尾辞の代用として保持することで、このコストを削減するのが一般的である。 効率的なDLM推論のための構造付き接尾辞モデリング法を提案する。
  論文  参考訳（メタデータ） (2026-08-24T12:13:34Z)
• Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords [50.621722853036005]
  生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。 ユーザコンテキストのモデリングでは、このきめ細かい表現が注意の過負荷を引き起こす。 本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T02:42:51Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• A Geometric Profile of Semantic Information in Text: Frame-Conditional Uniqueness and a Trade-Off Triangle for Scalar Summaries [0.0]
  テキストの文の埋め込み構造から意味的内容を測定するフレームワークを開発する。 推奨のランク正規化構成は、28の順序チェックのうち25をポイント推定としてパスする。 別個の変動結果は、幅座標を行列点過程の対数行列式に接続する。
  論文  参考訳（メタデータ） (2026-05-27T04:37:26Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Training Language Models with homotokens Leads to Delayed Overfitting [2.531076482407163]
  サブワードトークン化は、多くの異なるトークンシーケンスが同じ表面形式にデコードされ、意味を保存する言語モデルにおける計算層を導入している。 我々は、データ拡張の厳密な意味保存形式として、ホモトケンを定式化する。 データ制約付き事前トレーニングでは、ホモトケン強化は繰り返しデータ露光下でのオーバーフィッティングを継続的に遅らせる。 多言語微調整では、ホモトケンの有効性はトークン化器の品質に依存する。
  論文  参考訳（メタデータ） (2026-01-06T09:57:00Z)
• DiffGRM: Diffusion-based Generative Recommendation Model [63.35379395455103]
  ジェネレーティブレコメンデーション(GR)は、トークン化器を介して各項目をn桁のセマンティックID(SID)として表現する新興パラダイムである。 自己回帰デコーダをマスク付き離散拡散モデル(MDM)に置き換える拡散ベースGRモデルDiffGRMを提案する。 実験では、複数のデータセットに対する強力な生成的および差別的推奨ベースラインよりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2025-10-21T03:23:32Z)
• Ambiguity-aware Point Cloud Segmentation by Adaptive Margin Contrastive Learning [65.94127546086156]
  本稿では,ポイントクラウド上のセマンティックセマンティックセグメンテーションのための適応的マージン比較学習法を提案する。 まず,両立度推定フレームワークにコントラスト学習を組み込んだAMContrast3Dを設計する。 共同トレーニングの洞察に触発されて、並列にトレーニングされた2つのブランチとAMContrast3D++を統合することを提案する。
  論文  参考訳（メタデータ） (2025-07-09T07:00:32Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Retrofitting Large Language Models with Dynamic Tokenization [3.608780819053423]
  現在の言語モデル(LM)は固定された静的なサブワードトークン化器を使用する。 このデフォルトの選択は一般的に、特に英語以外の言語において、効率と言語能力の低下をもたらす。 入力テキストに基づいてトークン境界を動的に決定する手法として,動的トークン化を用いたLMの再構成を提案する。
  論文  参考訳（メタデータ） (2024-11-27T17:51:58Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。