論文の概要: Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
- arxiv url: http://arxiv.org/abs/2610.22428v1
- Date: Thu, 15 Oct 2026 06:34:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.585587
- Title: Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
- Title（参考訳）: 埋め込みは高すぎる? 小・三次言語モデルのための16MBの凍結語彙
- Abstract要約: Gemma 3 270Mでは、埋め込みテーブルは268Mパラメータの168Mを保持する。
トレーニング可能なパラメータなしで、512ビットのコードと16MBの凍結テーブルで置き換えます。
学習テーブルはトレーニング可能なパラメータの2.6倍の精度で0.20ナットの検証損失を購入するが、LAMBADA、HellaSwag、PIQAでは凍結テーブルモデルの方が良いか結びついている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In a small language model the vocabulary is the single largest part. In Gemma 3 270M the embedding table holds 168M of 268M parameters, and because quantisation methods leave the embedding in 16-bit, it is also most of the file once the rest of the model is compressed. We ask what that table actually buys. We replace it with one frozen table of 512-bit codes, 16 MB, with no trainable parameters, derived once from a pretrained embedding by principal-component projection and sign binarisation, and we train the same Gemma-shaped body from scratch on the same 2.05B tokens with and without it. The learned table buys 0.20 nats of validation loss for 2.6 times the trainable parameters, but on LAMBADA, HellaSwag and PIQA the frozen-table model is better or tied; only ARC-Easy favours the learned table. With a ternary BitNet b1.58 body the whole model is a 46 MB file, still ties the float model on LAMBADA and PIQA, and on a laptop CPU generates 615 to 740 tokens per second in 62 MB of memory, five to six times the speed of the float model's 8-bit GGUF in llama.cpp at a seventh of the memory. The frozen table wins by 1.7 to 2.3 nats on rare words, accepts 10,000 new words after training with a 3% cost where the learned table collapses by 43%, and all of it is released with the weights, the data and every evaluation answer.
- Abstract（参考訳）: 小さな言語モデルでは、語彙は単一の大きな部分である。
Gemma 3 270Mでは、埋め込みテーブルは268Mパラメータの168Mを持ち、量子化メソッドは埋め込みを16ビットに残すため、残りのモデルが圧縮されるとファイルのほとんどとなる。
私たちはそのテーブルが実際に何を買うか尋ねる。
512ビットのコードと16MBのフリーズテーブルをトレーニング可能なパラメータを持たず、主成分投影とサインバイナライゼーションによって事前訓練された埋め込みから派生したもので、同じ2.05Bトークンでゼロから同じGemma形状のボディをトレーニングします。
学習テーブルはトレーニング可能なパラメータの2.6倍の精度で0.20ナットの検証損失を取得するが、LAMBADA、HellaSwag、PIQAでは凍結テーブルモデルの方が良いか結びつきがあり、ARC-Easyのみが学習テーブルを好んでいる。
3つのBitNet b1.58ボディを持つモデル全体は46MBのファイルで、LAMBADAとPIQAのフロートモデルと接続し、ラップトップCPUでは62MBのメモリで毎秒615から740トークンを生成し、メモリの7分の1でフロートモデルの8ビットGGUFの速度の5から6倍である。
冷凍テーブルはレアワードで1.7〜2.3ナット当たり、学習テーブルが43%崩壊する3%のコストでトレーニング後に1万の新しい単語を受け入れ、ウェイト、データ、および全ての評価回答で解放される。
関連論文リスト
- Tetra: Serving Leech-Lattice Quantized LLMs at 2.7 Bits per Parameter [8.550323073861415]
リーチ格子量子化は、重量あたり2ビットで良い品質を与えるが、コードブックは1014点以上を持ち、ルックアップテーブルには多すぎる。
同じ格子上に新しいコードブックを提示します。
論文 参考訳（メタデータ） (2026-09-28T15:51:56Z) - In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit [4.726337413307433]
4ビットのリリースでは、各重みを整数コードと共有スケールとして格納し、格納された値の間に量子化器が捨てる間隔を残していることを示す。
私たちは、新しい知識をそのインターバルに書き込むパラダイムを、インセルラーニングと呼ぶ。
CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。
論文 参考訳（メタデータ） (2026-08-21T08:49:07Z) - Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference [0.0]
小さな言語モデルは通常、大きなもののように構築され、その後CPUに圧縮される。
ターゲットを最初に修正し、ユーザを1人、トークンを1度に1人、重みを4ビット、通常のCPUで、それに合うようにアーキテクチャを選択しました。
このモデルはトレーニング開始前に修正された42.20のバーに対して5タスクのベンチマークで47.31得点した。
GPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mの3倍から6倍のデータで訓練され、MobileLLM-125Mを超える。
論文 参考訳（メタデータ） (2026-08-20T16:09:43Z) - Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。
浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。
システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
論文 参考訳（メタデータ） (2026-07-15T23:55:48Z) - Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
可変ビット幅量子化(VBQ)を導入する。
64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。
バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
論文 参考訳（メタデータ） (2026-07-03T02:42:04Z) - QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。
本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
論文 参考訳（メタデータ） (2023-10-25T17:24:53Z) - MobileNMT: Enabling Translation in 15MB and 30ms [53.75988363281843]
デバイス上で15MBと30msで翻訳できるMobileNMTを提案する。
モデルとエンジンの共設計により、既存のシステムと比較して47.0xのスピードを上げ、メモリの99.5%を節約し、BLEUの損失は11.6%に留まった。
論文 参考訳（メタデータ） (2023-06-07T08:25:51Z) - QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。
QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する
最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文 参考訳（メタデータ） (2023-05-23T17:50:33Z) - Training Compute-Optimal Large Language Models [54.00424650998489]
私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。
計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。
チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
論文 参考訳（メタデータ） (2022-03-29T13:38:03Z) - Combined Scaling for Zero-shot Transfer Learning [146.0851484769142]
我々は,ImageNet ILSVRC-2012バリデーションセットにおいて,85.7%のトップ1の精度を達成できるBASICと組み合わせたスケーリング手法を提案する。
この精度はCLIPとALIGNの9.3%を超える。
我々のモデルは、ロバストネスベンチマークの大幅な改善も示しています。
論文 参考訳（メタデータ） (2021-11-19T05:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。