論文の概要: LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation

• arxiv url: http://arxiv.org/abs/2604.19167v1
• Date: Tue, 21 Apr 2026 07:25:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.668927
• Title: LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation
• Title（参考訳）: LBLLM: 3段階蒸留による大規模言語モデルの軽量バイナリ化
• Authors: Siqing Song, Chuang Wang, Yong Lang, Yi Yang, Xu-Yao Zhang,
• Abstract要約: 本稿では,W(1+1)A4量子化を実現する軽量なバイナライズフレームワークであるLBLLMについて,新しい3段階量子化戦略を提案する。 LBLLMは1つのGPUで0.016Bトークンのみを使用してトレーニングされており、W2A4量子化設定における既存の最先端のバイナライズ手法を超越している。
• 参考スコア（独自算出の注目度）: 29.676785178178104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying large language models (LLMs) in resource-constrained environments is hindered by heavy computational and memory requirements. We present LBLLM, a lightweight binarization framework that achieves effective W(1+1)A4 quantization through a novel three-stage quantization strategy. The framework proceeds as follows: (1) initialize a high-quality quantized model via PTQ; (2) quantize binarized weights, group-wise bitmaps, and quantization parameters through layer-wise distillation while keeping activations in full precision; and (3) training learnable activation quantization factors to dynamically quantize activations to 4 bits. This decoupled design mitigates interference between weight and activation quantization, yielding greater training stability and better inference accuracy. LBLLM, trained only using 0.016B tokens with a single GPU, surpasses existing state-of-the-art binarization methods on W2A4 quantization settings across tasks of language modeling, commonsense QA, and language understanding. These results demonstrate that extreme low-bit quantization of LLMs can be both practical and highly effective without introducing any extra high-precision channels or rotational matrices commonly used in recent PTQ-based works, offering a promising path toward efficient LLM deployment in resource-limited situations.
• Abstract（参考訳）: リソース制約のある環境での大規模言語モデル(LLM)の展開は、計算量とメモリの要求の重大さによって妨げられる。 本稿では,新しい3段階量子化戦略により,有効なW(1+1)A4量子化を実現する軽量二項化フレームワーク LBLLM を提案する。 この枠組みは,(1)PTQによる高品質な量子化モデルの初期化,(2)活性化を全精度で保ちながら層ワイド蒸留による二値化重み,群ワイドビットマップ,量子化パラメータの定量化,(3)動的に活性化を4ビットに量子化するための学習可能なアクティベーション量子化因子のトレーニングを行う。 この分離された設計は、重量と活性化量子化の間の干渉を緩和し、訓練安定性が向上し、推論精度が向上する。 LBLLMは1つのGPUで0.016Bトークンのみを使用してトレーニングされており、言語モデリング、常識的QA、言語理解のタスクにまたがるW2A4量子化設定における既存の最先端のバイナライズ手法を超越している。 これらの結果から,最近のPTQに基づく研究で一般的に用いられている高精度チャネルや回転行列を導入することなく,LLMの極端低ビット量子化を実用的かつ高効率に実現できることが示唆された。

関連論文リスト

• Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients [36.01708036519368]
  大規模視覚言語モデル (LVLM) は、マルチモーダル相互作用を必要とする下流タスクにおいて、顕著な成功を収めた。 既存のLVLM量子化法は、複雑なクロストークン相互作用を捉えるのに失敗するモダリティレベルでトークン感度を測定する。 機械的解釈可能性における公理的帰属に着想を得て、量子化対応統合勾配(QIG)の微粒化量子化戦略を導入する。 提案手法はLLaVA-onevision-7Bの平均精度を1.60%向上させ,LLaVA-onevision-7Bの完全精度とのギャップを1.33%に短縮する。
  論文  参考訳（メタデータ） (2026-03-18T15:03:43Z)
• DLLMQuant: Quantizing Diffusion-based Large Language Models [15.318057331535982]
  拡散に基づく大規模言語モデル(Ms)は、非自己回帰的なテキスト生成を約束している。 ポストトレーニング量子化(PTQ)は、アロケーションMに適用した場合、精度が著しく低下し、性能が低下する。 3つの新しい技法を取り入れたPTQフレームワークであるMQuantを提案する。
  論文  参考訳（メタデータ） (2025-08-14T09:30:17Z)
• Achieving binary weight and activation for LLMs using Post-Training Quantization [32.247768389896144]
  大規模言語モデル(LLM)を1ビット精度に量子化することは、計算コストを大幅に削減する。 既存の量子化技術は、4ビット以下の重みとアクティベーション精度を使用する場合(W4A4)、顕著な性能劣化に悩まされる。
  論文  参考訳（メタデータ） (2025-04-07T04:50:04Z)
• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。