Fugu-MT 論文翻訳(概要): Soft Quantization: Model Compression Via Weight Coupling

論文の概要: Soft Quantization: Model Compression Via Weight Coupling

arxiv url: http://arxiv.org/abs/2601.21219v1
Date: Thu, 29 Jan 2026 03:34:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-30 16:22:49.548324
Title: Soft Quantization: Model Compression Via Weight Coupling
Title（参考訳）: ソフト量子化:重み結合によるモデル圧縮
Authors: Daniel T. Bernstein, Luca Di Carlo, David Schwab,
Abstract要約: トレーニング中のニューラルネットワークの重み間の短距離魅力的な結合の導入は、モデル量子化のための新しい道を提供する。本稿では,ResNet-20/CIFAR-10上でのヒストグラム等化後量子化よりも優れた「ソフト量子化」方式を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that introducing short-range attractive couplings between the weights of a neural network during training provides a novel avenue for model quantization. These couplings rapidly induce the discretization of a model's weight distribution, and they do so in a mixed-precision manner despite only relying on two additional hyperparameters. We demonstrate that, within an appropriate range of hyperparameters, our "soft quantization'' scheme outperforms histogram-equalized post-training quantization on ResNet-20/CIFAR-10. Soft quantization provides both a new pipeline for the flexible compression of machine learning models and a new tool for investigating the trade-off between compression and generalization in high-dimensional loss landscapes.
Abstract（参考訳）: トレーニング中にニューラルネットワークの重み間に短距離の魅力的な結合を導入することで、モデル量子化の新たな道が開かれることを示す。これらの結合は、モデルの重み分布の離散化を急速に引き起こし、2つの追加のハイパーパラメータのみに依存するにもかかわらず、混合精度で行う。この手法は,ResNet-20/CIFAR-10上でのヒストグラム等化後量子化よりも優れていることを示す。ソフト量子化は、機械学習モデルの柔軟な圧縮のための新しいパイプラインと、高次元のロスランドスケープにおける圧縮と一般化の間のトレードオフを調査するための新しいツールを提供する。

関連論文リスト

SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions [18.749300190253624]
ベイズ変分学習(SQS)による同時プルーニングと低ビット量子化のための統合フレームワークを提案する。理論的には、スパースで量子化されたディープニューラルネットワークに対する我々の提案した変分アプローチの一貫性のある結果を提供する。
論文参考訳（メタデータ） (2025-10-10T04:54:29Z)
MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文参考訳（メタデータ） (2025-07-06T08:16:50Z)
Compression Scaling Laws:Unifying Sparsity and Quantization [65.05818215339498]
プレトレーニング中の大規模言語モデル(LLM)のスケーリング挙動に異なる圧縮手法がどう影響するかを検討する。重みのみの量子化は強力なパラメータ効率乗算器を実現する一方で、重みとアクティベーションの完全な量子化は低ビット幅でのリターンの低下を示す。以上の結果から,異なる圧縮手法を共通のスケーリング法枠組みの下で統一できることが示唆された。
論文参考訳（メタデータ） (2025-02-23T04:47:36Z)
Diffusion Product Quantization [18.32568431229839]
極端圧縮条件下での拡散モデルの量子化について検討し、性能を維持しながらモデルサイズを小さくする。我々は、ImageNet上のDiTモデルに圧縮法を適用し、他の量子化手法よりも一貫して優れています。
論文参考訳（メタデータ） (2024-11-19T07:47:37Z)
2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
論文参考訳（メタデータ） (2024-06-10T06:06:11Z)
RepQuant: Towards Accurate Post-Training Quantization of Large Transformer Models via Scale Reparameterization [8.827794405944637]
ポストトレーニング量子化(PTQ)は、大きなトランスモデルを圧縮するための有望な解である。既存のPTQメソッドは、通常、非自明な性能損失を示す。本稿では、量子化推論デカップリングパラダイムを備えた新しいPTQフレームワークRepQuantを提案する。
論文参考訳（メタデータ） (2024-02-08T12:35:41Z)
QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
本稿では,不均衡な活性化分布を量子化困難の原因として同定する。我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。本手法は3つの高解像度画像生成タスクに対して有効性を示す。
論文参考訳（メタデータ） (2024-02-06T03:39:44Z)
Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
論文参考訳（メタデータ） (2024-01-03T05:26:57Z)
Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文参考訳（メタデータ） (2023-08-08T21:38:02Z)
Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文参考訳（メタデータ） (2023-02-08T19:38:59Z)
Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文参考訳（メタデータ） (2022-12-10T15:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。