論文の概要: Lifecycle-Optimal Tokenization: Vocabulary Size as a Deployment-Regime-Dependent Infrastructure Parameter
- arxiv url: http://arxiv.org/abs/2608.11361v1
- Date: Tue, 11 Aug 2026 19:12:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.357998
- Title: Lifecycle-Optimal Tokenization: Vocabulary Size as a Deployment-Regime-Dependent Infrastructure Parameter
- Title（参考訳）: ライフサイクル最適トークン化:展開-登録-依存基盤パラメータとしての語彙サイズ
- Abstract要約: コスト最適語彙は一定ではなく,サービス体制の機能であることを示す。
C_lifecycle(V) = C_train(V) + cdot C_infer(V, B)$。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tokenizer vocabulary size is a foundational design choice in large language model (LLM) infrastructure, yet it is typically fixed at training time based on convention rather than deployment analysis. We show that the cost-optimal vocabulary is not a constant but a function of the serving regime. We formalize total deployment cost as $C_{lifecycle}(V) = C_{train}(V) + λ\cdot C_{infer}(V, B)$, where $λ$ is inference volume and $B$ is the serving batch size. Through controlled experiments on two GPU families spanning the memory-bound to compute-bound regimes (A10G, ridge $\approx$ 117 FLOP/byte; A100, ridge $\approx$ 183 FLOP/byte), we demonstrate: (1) the inference-optimal vocabulary shifts 16x with serving batch, from 32k at $B=1$ to 524k at $B=64+$, driven by amortization of the $V \times d$ unembedding matrix read; (2) at 1.3-2.3B model scale, quality (bits per byte, BPB) is optimized at $V=65$k, confirming scale-dependent vocabulary preference; (3) the lifecycle-optimal vocabulary diverges from training-optimal by up to 16x for production deployments. Quality is approximately invariant across the optimal range ($<$2% BPB spread), making vocabulary a pure systems optimization with no quality penalty in the measured range. Our results provide actionable capacity planning guidance: on-device deployments ($B=1$) should use $V \approx 32$k; datacenter serving ($B \geq 64$, $λ\geq 10$) should use $V \approx 131$-262k.
- Abstract（参考訳）: Tokenizer vocabulary sizeは、大規模言語モデル(LLM)インフラストラクチャの基本設計選択であるが、通常はデプロイメント分析ではなく、規約に基づいてトレーニング時に修正される。
コスト最適語彙は一定ではなく,サービス体制の機能であることを示す。
C_{lifecycle}(V) = C_{train}(V) + λ\cdot C_{infer}(V, B)$, $λ$は推論ボリュームであり、$B$はサービスバッチサイズである。
A10G, ridge $\approx$117 FLOP/byte; A100, ridge $\approx$183 FLOP/byte)にまたがる2つのGPUファミリーの制御実験を通して、(1) 推論-最適語彙は、32k at $B=1$から524k at $B=64+$に移行し、$V \times d$ unembedding matrix read; (2) at 1.3-2.3Bモデルスケール、品質(ビット当たりバイト、BPB)は、V=65kで最適化され、スケール依存語彙の好みを確認する。
品質は最適範囲 (<2% BPB spread) にわたってほぼ不変であり、ボキャブラリは測定範囲における品質ペナルティのない純粋なシステム最適化である。
オンデバイスデプロイメント(B=1$)は$V \approx 32$k、データセンタサービス(B=geq 64$, $λ\geq 10$)は$V \approx 131$-262kである。
関連論文リスト
- REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs [0.0]
ほとんどの視覚言語アクション(VLA)モデルはモノリシックである。
本稿では、再利用可能なスキルを学習するためのウェイク/スリープモデルシステムであるREFACTOR-VLAを紹介する。
論文 参考訳（メタデータ） (2026-09-01T13:19:05Z) - ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
textscChunkFTはメモリ効率の良い微調整フレームワークである。
textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。
textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-20T13:44:44Z) - QuantFPFlow: Quantum Amplitude Estimation for Fokker--Planck Policy Optimisation in Continuous Reinforcement Learning [0.2538209532048867]
我々は,Fokker-Planck(FP)の定式化に量子振幅推定を統合する強化学習フレームワークであるtextbfFPFlowを紹介する。
古典的な連続空間エージェントは FP 分割関数 $Z = int e-V(mathbfx)/D,dmathbfx$ at cost $calO (1/varepsilon2)$; QuantFlow を Grover 増幅振幅推定器で置き換えて $calO (1/varepsilon)$ -- a とする。
論文 参考訳（メタデータ） (2026-05-14T18:35:38Z) - SURGE: SuperBatch Unified Resource-efficient GPU Encoding for Heterogeneous Partitioned Data [3.1624024957575982]
SURGEは,4万の論理パーティションに8億以上のテキストの埋め込みを生成するために,本番環境にデプロイされたストリーミングエンコーディングシステムである。
4つのNVIDIA L4768を持つ10Mテキストでは、SURGEは26,413のテキスト/sを提供する。
論文 参考訳（メタデータ） (2026-05-01T19:51:50Z) - Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。
単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。
また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
論文 参考訳（メタデータ） (2026-03-30T17:51:47Z) - Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。
我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
論文 参考訳（メタデータ） (2026-03-20T01:53:44Z) - Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳（メタデータ） (2025-12-31T04:19:33Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。
7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
論文 参考訳（メタデータ） (2025-03-11T15:15:54Z) - Combinatorial Logistic Bandits [30.829239785016934]
我々はロジスティック・バンディット(CLogB)と呼ばれる新しいフレームワークを紹介する。
各ラウンドでは、ベースアームのサブセット(スーパーアームと呼ばれる)が選択され、各ベースアームの結果はバイナリとなる。
実世界のデータセットの実験では、ベンチマークアルゴリズムと比較してアルゴリズムの性能が優れていた。
論文 参考訳（メタデータ） (2024-10-22T14:52:46Z) - Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T03:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。