論文の概要: Compression Technique Interactions in Small Language Models: A Factorial Ablation Study

• arxiv url: http://arxiv.org/abs/2611.00464v1
• Date: Fri, 30 Oct 2026 23:36:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:22:14.76524
• Title: Compression Technique Interactions in Small Language Models: A Factorial Ablation Study
• Title（参考訳）: 小言語モデルにおける圧縮技術相互作用:因子的アブレーションによる研究
• Abstract要約: 72の圧縮構成を4つのSLMアーキテクチャで評価する。 我々は, 定量化, 刈り取り, 圧縮後の回復が組み合わさってどのように作用するかを示す。 4ビット量子化は、0.5点以下のパープレキシティ差に対して8ビットよりも46-54%高速に実行される。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deploying small language models on resource-constrained hardware requires compression, yet practitioners lack systematic guidance on how quantization, pruning, and post-compression recovery interact when combined. We present a factorial ablation study evaluating 72 compression configurations across four SLM architectures (2.7B-7B parameters), extended with a 48-configuration ordering analysis, benchmark accuracy validation on 30 compressed models, and robustness checks including multi-seed validation and full-corpus perplexity evaluation. INT8 quantization is effectively lossless (<0.5% accuracy degradation), while NF4 quantization combined with L1 magnitude pruning causes model collapse in all 16 tested combinations. LoRA-based fine-tuning reduces degraded perplexity by up to 97% after aggressive pruning; an ablation against standard fine-tuning without a teacher model shows the recovery is driven by LoRA adaptation itself rather than the distillation signal. Compression ordering shows no significant effect among viable configurations (ANOVA p = 0.96) but determines viability for NF4+pruning combinations. INT8 quantization alone provides 40-45% memory reduction with no quality loss. On-device CPU deployment via llama.cpp confirms these findings transfer off the GPU: 4-bit quantization runs 46-54% faster than 8-bit for a perplexity difference under 0.5 points, while un-structured pruning yields no CPU latency or memory benefit, consistent with its dense storage format.
• Abstract（参考訳）: リソース制約のあるハードウェアに小さな言語モデルをデプロイするには圧縮が必要だが、量子化、プルーニング、圧縮後のリカバリの相互作用に関する体系的なガイダンスは欠如している。 4つのSLMアーキテクチャ(2.7B-7Bパラメータ)にまたがる72個の圧縮構成を評価し、48個の構成順序付け分析、30個の圧縮モデル上でのベンチマーク精度検証、マルチシード検証と全コーパスパープレキシティ評価を含むロバストネスチェックで拡張した。 INT8量子化は事実上損失のない(精度は0.5%)が、NF4量子化とL1等級のプルーニングを組み合わせると、16の試験された組み合わせでモデルが崩壊する。 教師モデルのない標準的な微調整に対するアブレーションは、蒸留信号ではなく、LoRA適応自体によって回復されることを示している。 圧縮順序付けは、実行可能な構成(ANOVA p = 0.96)の間に有意な影響は示さないが、NF4+プルーニングの組み合わせの生存可能性を決定する。 INT8量子化だけで40-45%のメモリ削減が可能で、品質は低下しない。 4ビット量子化は8ビットよりも46～54%高速で、0.5ポイント未満のパープレキシティ差があるが、非構造化プルーニングではCPUレイテンシやメモリのメリットがなく、密度の高いストレージフォーマットと一致している。

関連論文リスト

• Same Bit Width, Different Outcomes: Post-Training Quantization of Text-to-Speech Across Architectures [3.636240564994662]
  トレーニング後量子化(PTQ)はデバイス上でのテキスト音声(TTS)のコストを削減する 我々は,TTSアーキテクチャ上でのPTQを1つのプロトコルで評価し,3つのコアモデル,さらに8つの重み付けとアクティベーションの短縮,および2つのホールドアウトモデルを定量化した。
  論文  参考訳（メタデータ） (2026-09-24T03:41:28Z)
• A Unified Physics-Aware Quantum Machine Learning Framework across Power GaN HEMTs and Logic Nanowire FETs: Predicting Unseen Process Splits and Held-Out Geometry Combinations with Lower Error and Tighter Split-to-Split Variability [10.86517852984593]
  データスカースデバイスモデリングのための小型パラメタライズド量子回路(PQC)を探索する統合強化学習フレームワークを提案する。 グラフニューラルネットワーク(GNN)ポリシーは、ホールドアウトプロセスや幾何グループに対するLOGOCV(Left-one-out cross-validation)エラーを報奨として回路アーキテクチャを探索する。 このフレームワークは、11の目標に対して6つの古典的ベースラインに対して最低平均絶対誤差(MAE)を達成し、59%の誤り(Ioff)、81%のHEMTに対する厳密な折りたたみ変動(VTH)、84%の誤り(V)を達成している。
  論文  参考訳（メタデータ） (2026-09-04T15:15:40Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs [2.7466083253666107]
  量子化対応ヒーリング(QAH)は、オリジナルの圧縮モデルから直接4ビットの学生を蒸留する。 GPT-OSS 120Bから60BからMXFP4パイプラインでは、QAH学生は9つのベンチマークのうち7つのベンチマークでbfloat16ソースと、約4倍の重量記憶と教師のパラメータ数で一致または打ち負かす。 また、分散トレーニングバックエンド間の大規模な再現可能な品質ギャップを含む、デプロイメントのレッスンも報告します。
  論文  参考訳（メタデータ） (2026-08-21T10:19:27Z)
• Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models [10.000323762676633]
  拡散モデルは、高品質な画像生成を実現するが、高い計算要求のため、デプロイメントの課題に直面している。 拡散モデルのための4ビットPTQスキームであるResidual Truncation and Zero Suppression (QuaRTZ) による量子化を提案する。 提案手法は,外乱保存とLSB精度のバランスをとることにより,丸め誤差を低減し,量子化効率を向上させる。
  論文  参考訳（メタデータ） (2025-09-30T15:55:42Z)
• Optimization of embeddings storage for RAG systems using quantization and dimensionality reduction techniques [0.0]
  本研究では,float8量子化により,性能劣化を最小限に抑えつつ,ストレージの4倍の低減を実現することを示す。 PCAは最も効果的な次元削減技術として出現する。 本稿では,最適構成を特定するために,性能記憶トレードオフ空間を可視化する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-30T18:20:16Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。