論文の概要: Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs

• arxiv url: http://arxiv.org/abs/2610.35985v1
• Date: Mon, 26 Oct 2026 11:53:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.380129
• Title: Let the Gate Decide: Per-Lookup Precision for Quantized Conditional Memory in LLMs
• Title（参考訳）: ゲートを決定せよ: LLMにおける量子化条件記憶のための1Lookup精度
• Abstract要約: GateRQは各行を1ビット残符号のラグとして格納する。 GateRQはDeepSeek-V4.1-Flash上でGPUテーブルメモリを7.8倍削減する。
• 参考スコア（独自算出の注目度）: 24.7989595240404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional memory layers, such as DeepSeek's Engram, attach large hashed n-gram tables to a language model, and removing them from DeepSeek-V4.1-Flash costs 36.8 PopQA points. Low-bit quantization loses long-tail facts first, and the standard remedy, giving more bits to frequently accessed rows, backfires: refining lookups by access frequency is worse than refining them at random. We trace this to the gate that scales each retrieved row. A lookup's quantization error is weighted by its gate, which is small for frequent n-grams, large for the rare n-grams of long-tail entities, and computable from a 1-bit code. GateRQ therefore stores each row as a ladder of 1-bit residual codes, keeps level 1 in GPU memory to compute the gate, and reads deeper levels only for the lookups the gate ranks highest. Without retraining, GateRQ cuts GPU table memory by 7.8x on DeepSeek-V4.1-Flash, which raises vLLM throughput by 11%-31% over FP8 tables, while losing about 1 PopQA point at 1.50 bits read per lookup and 0.2 points at 2.10 bits across two models.
• Abstract（参考訳）: DeepSeekのEngramのような条件付きメモリ層は、大きなハッシュしたn-gramテーブルを言語モデルにアタッチし、DeepSeek-V4.1-Flashからは36.8のPopQAポイントで削除する。 低ビット量子化は、最初に長いテール事実を失い、また、頻繁にアクセスされる行、バックファイアにより多くのビットを与える標準的な治療である: アクセス周波数によるルックアップの精細化は、それらをランダムに精製するよりも悪い。 これを、検索された各行をスケールするゲートにトレースします。 ルックアップの量子化誤差はゲートによって重み付けされるが、これは n-gram の頻度が小さく、長い尾のエンティティの希少な n-gram に対して大きく、1ビットのコードから計算可能である。 したがって、GateRQは各行を1ビット残符号のラグとして格納し、GPUメモリにレベル1を保持してゲートを計算する。 再トレーニングなしでは、GateRQはGPUテーブルメモリをDeepSeek-V4.1-Flashで7.8倍削減し、VLLMのスループットをFP8テーブルで11%-31%向上させた。

関連論文リスト

• Low-Bit N-Gram Embeddings for Language Models [14.556758955830796]
  我々は,n-gram 埋め込みテーブルのメモリ要求を低減するため,n-gram 埋め込みを低精度で保存することを提案する。 4ビットテーブルは、約75%のテーブルメモリを節約し、バリデーションとロスの改善の99%以上を保存していることがわかった。 これらの結果から,n-gram 埋め込みのメモリ要求を低減させる実用的な方法として,低ビット精度が確立された。
  論文  参考訳（メタデータ） (2026-10-22T17:56:13Z)
• GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs [12.04455190856202]
  ハイブリッド言語モデルはGated DeltaNet(GDN)層をインターリーブする。 本稿では,これらの信号を読み取る軽量なヘッド当たり多層パーセプトロンを用いて学習するGateSightを提案する。 GateSightは、4つのモデルベンチマークペアのうち3つで5つのクエリ非依存の手法の中で最も正確であり、KVzipを4つすべてで9.5から47.2ポイントリードする。
  論文  参考訳（メタデータ） (2026-10-10T09:19:05Z)
• Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches [0.0]
  Fathomは、各クエリが読み込むキーチャンネルのビット数を決定するキースキャンである。 Qwen3-8Bで100万トークンを使用すると、デコードステップはGPU時間で1.67倍高速になる。
  論文  参考訳（メタデータ） (2026-09-15T16:53:01Z)
• Does Engram Do Memory Retrieval in Autoregressive Image Generation? [50.31813662801864]
  本研究では,Engramモジュールを2次元空間的$n$-gramハッシュ,ゲート融合,KV-cache互換インクリメンタル推論で視覚に適応させる。 ゲート・クランプ・スイープは、エングラムの経路を完全に無効にすることは破滅的であることを示している。 ドナープローブ実験により、一致した、逆数的な、あるいはランダムな同一クラスの例にハッシュ入力を交換すると、統計的に区別不能な次トーケン分布が生じることが示された。
  論文  参考訳（メタデータ） (2026-05-13T08:40:46Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
  Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。 このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。 オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:03:38Z)
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness [80.3586155104237]
  FlashAttentionは、トランスフォーマーのためのIO対応の正確な注意アルゴリズムである。 これにより、GPU高帯域メモリ(HBM)とGPUオンチップ間のメモリ読み込み/書き込み数を削減できる。 FlashAttentionとブロックスパース FlashAttentionは、トランスフォーマーのコンテキストを長くすることを可能にする。
  論文  参考訳（メタデータ） (2022-05-27T17:53:09Z)
• Experimental Characterization of Fault-Tolerant Circuits in Small-Scale Quantum Processors [67.47400131519277]
  符号の論理ゲートセットは、10以上のゲートシーケンスに対してフォールトトレラントとみなすことができる。 一部の回路は耐故障性基準を満たしていなかった。 試験した回路が低次元の出力状態に制限された場合に、耐故障性基準を評価するのが最も正確である。
  論文  参考訳（メタデータ） (2021-12-08T01:52:36Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。