論文の概要: N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.21810v3
• Date: Wed, 21 Oct 2026 01:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:05.959692
• Title: N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
• Title（参考訳）: 2ビットのN-Gramメモリ:大規模言語モデルにおけるルックアップテーブルの量子化
• Abstract要約: Conditional Program (CP) は、入力要求の行のみを再構成する圧縮表現である。 DeepSeekでは、テーブルストレージを203GBから51GBに削減する。
• 参考スコア（独自算出の注目度）: 8.748995220193448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional memory expands language-model capacity through selective lookup, but the full embedding table must remain available for every possible input. We introduce Conditional Program (CP), a compressed representation that reconstructs only the rows an input requests. CP represents each row by a short code and a local scale, with a reconstruction program shared across the table. We instantiate this representation with a Gaussian trellis, norm restoration and independently decodable row records. CP's two-bit code lowers output KL by 41--63\% relative to 2-bit round-to-nearest. Analysis across three trained n-gram memory families shows that Gaussian-like coordinate statistics coexist with learned relationships among rows; at matched storage budgets, the shared trellis outperforms the fitted codebooks and low-rank residual variants we test. For DeepSeek, it reduces table storage from 203GB to 51GB, leaving room for larger workloads when the table is kept on GPU.
• Abstract（参考訳）: 条件付きメモリは、選択的なルックアップを通じて言語モデル容量を拡大するが、完全な埋め込みテーブルは可能なすべての入力に対して利用可能でなければならない。 入力要求の行のみを再構成する圧縮表現である条件付きプログラム(CP)を導入する。 CPは、各行を短いコードとローカルスケールで表現し、テーブル全体で再構成プログラムを共有する。 我々は、この表現をガウスのトレリス、ノルムの復元、独立にデオード可能な行レコードでインスタンス化する。 CPの2ビット符号は、2ビットのラウンド・トゥ・アネレストに対して出力KLを41-63\%下げる。 3つの訓練されたn-gramメモリファミリの解析により、ガウス的な座標統計は行間の学習関係と共存していることが明らかとなった。 DeepSeekでは、テーブルストレージを203GBから51GBに削減する。

関連論文リスト

• The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation [68.62532599872576]
  COUNTは、事前に計算されたn-gram数をホストに格納することで、学習したパラメータを追加することなくn-gramの埋め込みを構築する。 オフラインアンロックN-gram変換器のカウントは、検証損失を57%の計算量でLMと同じくらい改善する。
  論文  参考訳（メタデータ） (2026-10-14T16:38:19Z)
• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Beyond N-gram: Data-Aware X-GRAM Extraction for Efficient Embedding Parameter Scaling [24.48256429931821]
  X-GRAMは周波数対応の動的トークン注入フレームワークである。 ヘッド容量を保ちながら尾部を圧縮するためにハイブリッドハッシュとエイリアスミキシングを使用する。 SwiGLU ShortConvによって取得したベクトルを洗練し、様々な局所的なn-gram特徴を抽出する。
  論文  参考訳（メタデータ） (2026-04-23T14:27:10Z)
• RAG over Tables: Hierarchical Memory Index, Multi-Stage Retrieval, and Benchmarking [63.253294691180635]
  現実世界のシナリオでは、純粋なテキスト以外では、かなりの量の知識がテーブルに格納される。 まず、階層型メモリインデックス、多段階検索、グラフ認識プロンプトからなるテーブルコーパス対応RAGフレームワークT-RAGを提案する。
  論文  参考訳（メタデータ） (2025-04-02T04:24:41Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering [65.62309538202771]
  知識グラフ(KG)は、事実を象徴的に構造化した記憶装置である。 KG埋め込みには、実世界の暗黙的な情報を必要とするNLPタスクで使用される簡潔なデータが含まれている。 リンク予測タスクとKGに基づく質問応答においてSOTAに比較可能な性能をもたらすメモリ効率のよいKG埋め込みモデルを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:47:03Z)
• Lookup-Table Recurrent Language Models for Long Tail Speech Recognition [40.76888403139426]
  単一のトークンではなく、前のn-gramトークンシーケンスを埋め込んだ埋め込みテーブルをインスタンス化する。 これにより、埋め込みテーブルを任意にスケールアップできる。 LookupLMは、下流音声認識タスクにおいて、ロングテールログのPerplexityを2.44、ロングテールWERを23.4%改善する。
  論文  参考訳（メタデータ） (2021-04-09T18:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。