Fugu-MT 論文翻訳(概要): Low-Bit N-Gram Embeddings for Language Models

論文の概要: Low-Bit N-Gram Embeddings for Language Models

arxiv url: http://arxiv.org/abs/2610.31646v1
Date: Thu, 22 Oct 2026 17:56:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:44.510708
Title: Low-Bit N-Gram Embeddings for Language Models
Title（参考訳）: 言語モデルのための低ビットN-Gram埋め込み
Abstract要約: 我々は,n-gram 埋め込みテーブルのメモリ要求を低減するため,n-gram 埋め込みを低精度で保存することを提案する。 4ビットテーブルは、約75%のテーブルメモリを節約し、バリデーションとロスの改善の99%以上を保存していることがわかった。これらの結果から,n-gram 埋め込みのメモリ要求を低減させる実用的な方法として,低ビット精度が確立された。
参考スコア（独自算出の注目度）: 14.556758955830796
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Many recent open-weight language models use n-gram embedding tables to improve performance. These tables store learned representations of short token sequences, such as pairs or triples of consecutive tokens, which the model retrieves during processing. However, they can require substantial memory: DeepSeek-V4.1-Flash, for example, allocates 196 billion parameters to its Engram n-gram memory. We therefore investigate whether this memory cost can be reduced while preserving the performance improvement that the tables provide. We propose storing n-gram embeddings at low precision and systematically investigate different quantization methods and bit allocations across tables. Across nanochat-, Llama-, and GPT-2-family models trained from scratch, four-bit tables save approximately 75% of table memory while preserving more than 99% of the validation-loss improvement from adding the tables. Using fewer bits leads to a larger drop in performance, although we find that a short fine-tuning phase recovers a significant part of this loss. In addition, reinvesting the saved memory in larger tables can improve performance beyond that of the original full-precision tables while still using less memory. These table memory savings also extend to large existing models: on DeepSeek-V4.1-Flash and Qwen3.8-Flash-Next, low-bit tables save 47-55% of table memory, with perplexity increases of less than 1.2% and largely preserved downstream task performance. These findings establish low-bit precision as a practical way to reduce the memory requirements of n-gram embeddings and use the saved capacity to improve model performance.
Abstract（参考訳）: 最近のオープンウェイト言語モデルの多くは、n-gram埋め込みテーブルを使用してパフォーマンスを改善している。これらのテーブルは、処理中にモデルが取得する連続トークンのペアやトリプルといった、短いトークンシーケンスの学習された表現を格納する。例えば、DeepSeek-V4.1-Flashは196億のパラメータをEngram n-gramメモリに割り当てる。そこで我々は,テーブルの提供する性能改善を保ちながら,このメモリコストを削減できるかどうかを検討する。我々は,n-gram埋め込みを低精度で保存し,テーブル間の異なる量子化法とビット割り当てを体系的に検討する。 4ビットテーブルは、スクラッチからトレーニングされたナノチャット、Llama、GPT-2ファミリーモデル全体で、約75%のテーブルメモリを保存し、テーブルの追加によるバリデーション-ロス改善の99%以上を保存している。少ないビットを使用すると性能が低下するが、短い微調整フェーズでこの損失のかなりの部分を取り戻すことが分かる。さらに、保存したメモリを大きなテーブルに再投資することで、メモリを減らしながら元のフル精度テーブルよりもパフォーマンスを向上させることができる。 DeepSeek-V4.1-FlashとQwen3.8-Flash-Nextでは、低ビットのテーブルは47-55%のテーブルメモリを節約し、パープレキシティは1.2%未満に増加し、ダウンストリームのタスク性能はほぼ保存されている。これらの結果は,n-gram埋め込みのメモリ要求を低減し,保存容量を用いてモデル性能を向上させるための実用的な方法として,低ビット精度を確立した。

関連論文リスト

N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models [8.748995220193448]
Conditional Program (CP) は、入力要求の行のみを再構成する圧縮表現である。 DeepSeekでは、テーブルストレージを203GBから51GBに削減する。
論文参考訳（メタデータ） (2026-10-15T12:57:19Z)
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation [68.62532599872576]
COUNTは、事前に計算されたn-gram数をホストに格納することで、学習したパラメータを追加することなくn-gramの埋め込みを構築する。オフラインアンロックN-gram変換器のカウントは、検証損失を57%の計算量でLMと同じくらい改善する。
論文参考訳（メタデータ） (2026-10-14T16:38:19Z)
Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
論文参考訳（メタデータ） (2026-05-20T09:35:04Z)
Beyond N-gram: Data-Aware X-GRAM Extraction for Efficient Embedding Parameter Scaling [24.48256429931821]
X-GRAMは周波数対応の動的トークン注入フレームワークである。ヘッド容量を保ちながら尾部を圧縮するためにハイブリッドハッシュとエイリアスミキシングを使用する。 SwiGLU ShortConvによって取得したベクトルを洗練し、様々な局所的なn-gram特徴を抽出する。
論文参考訳（メタデータ） (2026-04-23T14:27:10Z)
Memory Layers at Scale [67.00854080570979]
この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
論文参考訳（メタデータ） (2024-12-12T23:56:57Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)
CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文参考訳（メタデータ） (2024-04-24T16:11:54Z)
Vocabulary-level Memory Efficiency for Language Model Fine-tuning [36.1039389951318]
微調整中,語彙のかなりの割合が未使用であることが判明した。本稿では,メモリ使用量を最小限に抑えるため,この発見を利用したシンプルで効果的な手法を提案する。我々の手法は、より効率的な計算資源の利用を可能にしながら、下流のタスク性能に影響を与えない。
論文参考訳（メタデータ） (2023-09-15T19:00:00Z)
Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文参考訳（メタデータ） (2021-11-22T11:23:01Z)
Mixed-Precision Embedding Using a Cache [3.0298877977523144]
キャッシュメモリアーキテクチャを用いて,組込みにおける行の大部分を低精度でトレーニングする,組込みテーブルの新たな変更を提案する。 CriteoKaggleデータセットで実行されるオープンソースのディープラーニングレコメンデーションモデル(DLRM)では,INT8の高精度埋め込みテーブルと完全精度キャッシュで3倍のメモリ削減を実現している。産業規模のモデルとデータセットでは, INT4精度とキャッシュサイズ1%の埋め込みテーブルで, 7倍のメモリ削減を実現している。
論文参考訳（メタデータ） (2020-10-21T20:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。