論文の概要: Bits Under ZK-LLM: Evaluating Zero-Knowledge-Friendly Quantization for Verifiable Private LLM Inference

• arxiv url: http://arxiv.org/abs/2609.36437v1
• Date: Tue, 29 Sep 2026 00:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.08219
• Title: Bits Under ZK-LLM: Evaluating Zero-Knowledge-Friendly Quantization for Verifiable Private LLM Inference
• Title（参考訳）: ZK-LLMの下でのビット:検証可能なプライベートLLM推論のためのゼロ知識フレンドリな量子化の評価
• Abstract要約: この研究はZKフレンドリーな量子化の定義を定式化し、ZK証明生成に必要な特性を捉える。 我々は、Qwen2.5-14BとQwen3-30B-A3Bを含む9つの言語モデルを評価する。
• 参考スコア（独自算出の注目度）: 17.502845948162484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-knowledge proofs are emerging as a promising approach for enabling private, verifiable LLM governance and auditing, where regulators, users, and auditors need to verify claims about training-data usage or LLM inference-time behavior, while model providers must protect proprietary model parameters. However, despite the growing interest in ZK-LLMs, the understanding of ZK-friendly quantization remains limited. This gap matters because in the ZK setting, quantization directly shapes the arithmetic structure, constraint complexity, and proving cost of ZK inference. ZK protocols operate over finite fields and incur costs that depend heavily on the number and type of arithmetic operations, nonlinearities, and lookup constraints. Understanding ZK-friendly quantization is therefore essential for making ZK-LLMs practical. In this work, we present the first systematic study of ZK-friendly quantization for LLMs. We first formalize the definition of ZK-friendly quantization, capturing the properties required for ZK proof generation. We then evaluate nine language models, including Qwen2.5-14B and the mixture-of-experts model Qwen3-30B-A3B, across a broad design space of weight, activation, and nonlinear lookup table precision. Our results show that activation precision is substantially more sensitive than weight precision, while nonlinear lookup approximations can become the dominant source of utility degradation. Also, we identify RMSNorm inverse-square-root lookups as a recurring bottleneck in several large models and recover near-baseline utility by selectively increasing precision only at the bottleneck. Finally, we show that reducing bit-width or lookup-table size does not necessarily yield proportional end-to-end proving savings, showing that conventional low-bit quantization heuristics do not directly translate to ZK proving efficiency and motivating operator-aware precision selection.
• Abstract（参考訳）: モデルプロバイダはプロプライエタリなモデルパラメータを保護しなければならないが、規制当局、ユーザ、監査官はトレーニングデータの使用やLLM推論時の振る舞いに関する主張を検証する必要がある。 しかし、ZK-LLMへの関心が高まっているにもかかわらず、ZK親和性量子化の理解は依然として限られている。 このギャップは、ZK設定において、量子化が算術構造、制約複雑性、ZK推論の証明コストを直接形作るため重要である。 ZKプロトコルは有限体上で動作し、算術演算の数や種類、非線形性、ルックアップ制約に大きく依存するコストを発生させる。 したがって、ZK-LLMを実用化するためには、ZK親和性量子化を理解することが不可欠である。 本研究では,LLMに対するZK親和性量子化に関する最初の体系的研究について述べる。 まず、ZKの量子化の定義を定式化し、ZKの証明生成に必要な特性を抽出する。 次に、Qwen2.5-14BとQwen3-30B-A3Bを含む9つの言語モデルについて、重量、アクティベーション、非線形ルックアップテーブルの精度の広い設計空間で評価した。 以上の結果から, 活性化精度は重量精度よりもかなり敏感であり, 非線形ルックアップ近似は実用上の劣化の原因となる可能性が示唆された。 また, RMSNorm逆二乗探索をいくつかの大規模モデルにおいて繰り返し発生するボトルネックとみなし, ボトルネックのみの精度を選択的に向上させることで, 近接ベースラインの実用性を回復する。 最後に,従来の低ビット量子化ヒューリスティックはZK証明効率に直接変換せず,演算子認識精度の選択を動機付けないことを示す。

関連論文リスト

• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• KLLM: Fast LLM Inference with K-Means Quantization [6.266554375328823]
  K平均量子化重みとアクティベーションを用いた効率的な実行のための推論アクセラレータであるKLLMを提案する。 KLLMは、K-Means量子化データ上でのMatMulsと非線形演算を効率的に実行するためのインデックスベースの計算スキームを備えている。
  論文  参考訳（メタデータ） (2025-07-30T19:01:25Z)
• FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs [13.951330786310262]
  FineQは、ソフトウェアとハードウェアの共同設計であり、大規模言語モデルの低ビット細粒度混合精度量子化のための設計である。 重みをよりきめ細かいクラスタに分割し、これらのクラスタ内の外れ値の分布を考慮する。 近似平均ビット幅でのSOTA混合精度量子化アルゴリズムと比較してモデル精度が向上する。
  論文  参考訳（メタデータ） (2025-04-28T12:47:23Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。