論文の概要: Quantize the Target, Quantize the Drafter: Efficient Inference with Qwen3.5-4B

• arxiv url: http://arxiv.org/abs/2607.04244v1
• Date: Sun, 05 Jul 2026 11:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.875515
• Title: Quantize the Target, Quantize the Drafter: Efficient Inference with Qwen3.5-4B
• Title（参考訳）: Qwen3.5-4Bを用いた効率的な推論
• Authors: Jaeyeon Kim, Jewon Lee, Bo-Kyeong Kim,
• Abstract要約: 本報告では,効率的なQwenコンペティションへのアプローチについて述べる。 目標は、リソース制約のあるNVIDIA A10G GPU上でQwen3.5-4Bの低レイテンシサービスを可能にすることである。
• 参考スコア（独自算出の注目度）: 9.449137117587199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report describes our approach to the Efficient Qwen Competition, where the goal is to enable low-latency serving of Qwen3.5-4B on a resource-constrained NVIDIA A10G GPU. Our system combines a quantized target model with speculative decoding. To recover accuracy, we apply quantization-aware distillation to the target model while retaining the original quantization grid. To speed up decoding, a block-diffusion drafter specialized for the quantized target model is trained using a two-stage procedure: first learning from the high-precision target and then adapting to the low-precision target. Because the drafter is invoked at every speculative decoding step, we further reduce its overhead with quantization and sliding-window attention, preserving draft-token acceptance while improving long-context decoding latency. As a result, our submission achieves a 6.978$\times$ average speedup over the baseline while satisfying the required quality thresholds, ranking 3rd overall. We hope these results provide useful insights for practical LLM inference. The code and resources are available at https://github.com/nota-github/adaptfm-quant-dflash
• Abstract（参考訳）: 本稿では,資源制約のNVIDIA A10G GPU上でQwen3.5-4Bの低レイテンシ提供を実現することを目的とした,効率的なQwenコンペティションへのアプローチについて述べる。 我々のシステムは、量子化されたターゲットモデルと投機的復号化を組み合わせている。 精度を回復するために、元の量子化グリッドを保持しながら、ターゲットモデルに量子化対応蒸留を適用した。 復号を高速化するために、量子化対象モデルに特化したブロック拡散ドラフトラを2段階の手順で訓練する。 提案手法は投機的復号化のステップ毎に起動されるので,そのオーバーヘッドを量子化やスライディング・ウインドウ・アテンションによって低減し,長文復号化の遅れを改善しつつ,ドラフト・トケインセプションを維持する。 その結果,要求される品質閾値を満たしつつ,ベースライン上での平均速度アップを6.978$\timesで達成し,総合3位となった。 これらの結果が実用的LLM推論に有用な洞察を与えてくれることを願っている。 コードとリソースはhttps://github.com/nota-github/adaptfm-quant-dflashで入手できる。

関連論文リスト

• Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design [34.04231165571518]
  投機的復号化と量子化は、大きな言語モデルのメモリバウンド推論を効果的に加速する。 量子化は、重みとアクティベーションを低ビット幅に圧縮することでこれを達成し、低ビット行列乗算による計算を減らす。 実験により、4ビットの重み量子化によるメモリの利点は、投機的復号化による計算負荷によって減少することが示された。
  論文  参考訳（メタデータ） (2025-05-28T09:55:08Z)
• PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization [44.547992997369875]
  様々な精度で最先端性能を実現する新しい量子化法であるPrefixQuantを提案する。 第一に、PrefixQuantはKVキャッシュにoutlierトークンをプレフィックスすることでトークン単位のoutlierを排除します。 第二に、PrefixQuantは、量子化エラーを補うためにブロックワイズトレーニングのための新しいトレーニング可能なパラメータを導入した。
  論文  参考訳（メタデータ） (2024-10-07T17:59:35Z)
• Predicting High-precision Depth on Low-Precision Devices Using 2D Hilbert Curves [2.076845464422163]
  ディープニューラルネットワーク(DNN)は、単眼と双眼の両方のデータに対して印象的な結果を得た。 これらは高い計算複雑性によって制限され、ローエンドデバイスでの使用を制限する。 低ビット精度予測から高精度深度を復元することを提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:59:46Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。