論文の概要: Security-Enhanced Seed-Based Weight Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.38477v1
• Date: Tue, 29 Sep 2026 20:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.698717
• Title: Security-Enhanced Seed-Based Weight Quantization for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのセキュリティ強化種子ベース重み量子化
• Abstract要約: Seed-Qは、セキュリティに配慮したシードベースの重み圧縮フレームワークである。 提案手法では,低感度領域を積極的に圧縮しながら,より大きな表現予算を感度重みに割り当てる。 実験の結果,Seed-QはSeedLMの4ビットパープレキシティと少ないビットで一致し,同時に4ビット/ウェイトでもSeedLMに対するパープレキシティ劣化とゼロショット精度損失を低減できることがわかった。
• 参考スコア（独自算出の注目度）: 5.721402783274782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) incur substantial storage, memory-bandwidth and energy costs, motivating compact weight representations. Existing seed-based compression methods reconstruct weights from compact pseudo-random representations but do not explicitly account for the non-uniform sensitivity of model weights. We introduce Seed-Q, a security-enhanced sensitivity-aware seed-based weight compression framework that uses lightweight Linear Feedback Shift Register (LFSR)-based weight generation with non-uniform bit allocation. Our approach assigns larger representation budgets to sensitive weights while aggressively compressing less sensitive regions. Importantly, this non-uniform allocation requires no side-information: the decoder deterministically reconstructs the bit-allocation schedule, with no rung depending on the decoded weights, eliminating the need to store per-block metadata or use calibration data while preserving the baseline coding rate. Experiments across diverse LLMs show that Seed-Q matches 4-bit perplexity of SeedLM with fewer bits, while at the same 4 bits/weight it reduces both perplexity degradation and zero-shot accuracy loss relative to SeedLM. We also show that Seed-Q simultaneously achieves high security against bit-flip attacks on model parameters, as bit corruption affects multiple reconstructed weights, greatly amplifying its impact and making it easier to detect. We further implement Seed-Q in an ASIC-based accelerator and demonstrate modest hardware overhead compared to prior seed-based approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、記憶容量、メモリ帯域幅、エネルギーコストを増大させ、コンパクトな重量表現を動機付けている。 既存のシードベース圧縮法は、コンパクトな擬似ランダム表現から重みを再構成するが、モデル重みの非一様感度を明示的に考慮していない。 非一様ビット割り当てによる軽量リニアフィードバックシフトレジスタ(LFSR)ベースの重み生成を利用するセキュリティ強化型シードベース重み圧縮フレームワークであるSeed-Qを紹介する。 提案手法では,低感度領域を積極的に圧縮しながら,より大きな表現予算を感度重みに割り当てる。 デコーダはビット割り当てスケジュールを決定的に再構成し、デコーダの重みによらずラングを行わず、ベースラインの符号化率を維持しながらブロック単位のメタデータを格納したりキャリブレーションデータを使用する必要がなくなる。 様々なLDMを対象とした実験により、Seed-QはSeedLMの4ビットのパープレキシティと少ないビットで一致し、同時に4ビット/重みでもSeedLMと比較してパープレキシティの劣化とゼロショット精度の損失を減少させることが示された。 また、Sed-Qは、複数の再構成重みに影響を及ぼし、その影響を大幅に増幅し、検出しやすくするため、モデルパラメータに対するビットフリップ攻撃に対して同時に高いセキュリティを実現することを示す。 ASICベースのアクセラレータでSeed-Qをさらに実装し、従来のシードベースアプローチと比較して、ハードウェアのオーバーヘッドが緩やかであることを示す。

関連論文リスト

• Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
  学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。 LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-06-03T20:51:52Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Motion-Compensated Weight Compression [0.0]
  運動補償重み圧縮(英: Motion-Compensated Weight Compression、MCWC)は、重みのみの圧縮であり、置換対称ブロックを整列させて層間対応を最大化する。 MCWCはエントロピー復号、復号化、予測駆動型再構成、逆アライメントによって展開可能な重量を再構成する。
  論文  参考訳（メタデータ） (2026-05-23T22:09:34Z)
• Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models [0.0]
  ポストトレーニング量子化(PTQ)は、モデル重みの精度を4ビット以下に下げることでこの問題に対処する。 現在の最先端の手法は、塩分量を特定するためにキャリブレーションデータに依存している。 本稿では,データフリーな構造認識仮説を提案する。Singular Value Decomposition (SVD) による主成分として同定された重みは,モデル下流の性能に本質的に重要である。
  論文  参考訳（メタデータ） (2025-12-01T06:58:30Z)
• SWSC: Shared Weight for Similar Channel in LLM [6.795209523806925]
  大規模言語モデル(LLM)は、複数の産業で発展を加速させている。 類似チャネルに対する共有重みの概念に基づくLLM圧縮手法であるSWSCを提案する。
  論文  参考訳（メタデータ） (2025-01-15T07:36:19Z)
• SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators [25.229269944770678]
  大規模言語モデル(LLM)は自然言語処理を変革しているが、ランタイムコストが高いため、広範なデプロイメントにおいて課題に直面している。 本稿では,擬似ランダム発生器の種をモデル重みのエンコードおよび圧縮に用いる,新しい訓練後圧縮法であるSeedLMを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T16:57:23Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。