Fugu-MT 論文翻訳(概要): Unified Stochastic Framework for Neural Network Quantization and Pruning

論文の概要: Unified Stochastic Framework for Neural Network Quantization and Pruning

arxiv url: http://arxiv.org/abs/2412.18184v1
Date: Tue, 24 Dec 2024 05:38:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-25 15:51:31.538787
Title: Unified Stochastic Framework for Neural Network Quantization and Pruning
Title（参考訳）: ニューラルネットワーク量子化とプルーニングのための統一確率的フレームワーク
Authors: Haoyu Zhang, Rayan Saab,
Abstract要約: 本稿では,パス追従アルゴリズムを用いて量子化とプルーニングを後処理する統合フレームワークを提案する。提案手法は,経路追従量子化法(SPFQ)に基づいて,プルーニングおよび低ビット量子化方式の適用性を向上させる。
参考スコア（独自算出の注目度）: 11.721939479875271
License:
Abstract: Quantization and pruning are two essential techniques for compressing neural networks, yet they are often treated independently, with limited theoretical analysis connecting them. This paper introduces a unified framework for post-training quantization and pruning using stochastic path-following algorithms. Our approach builds on the Stochastic Path Following Quantization (SPFQ) method, extending its applicability to pruning and low-bit quantization, including challenging 1-bit regimes. By incorporating a scaling parameter and generalizing the stochastic operator, the proposed method achieves robust error correction and yields rigorous theoretical error bounds for both quantization and pruning as well as their combination.
Abstract（参考訳）: 量子化とプルーニングは、ニューラルネットワークを圧縮する2つの重要な技術であるが、それらはしばしば独立して扱われ、それらを接続する理論的解析は限られている。本稿では,確率的経路追従アルゴリズムを用いて,量子化とプルーニングの学習後の統一的な枠組みを提案する。提案手法はStochastic Path Following Quantization (SPFQ) 法に基づいており, プルーニングと低ビット量子化への適用性を拡張している。スケーリングパラメータを組み込んで確率演算子を一般化することにより、ロバストな誤差補正を実現し、量子化とプルーニングの双方に厳密な理論誤差境界を与える。

関連論文リスト

Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
論文参考訳（メタデータ） (2024-11-26T15:35:44Z)
Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文参考訳（メタデータ） (2023-12-25T18:51:23Z)
Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文参考訳（メタデータ） (2023-08-08T21:38:02Z)
Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-11T15:20:54Z)
A simple approach for quantizing neural networks [7.056222499095849]
完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
論文参考訳（メタデータ） (2022-09-07T22:36:56Z)
Symmetry Regularization and Saturating Nonlinearity for Robust Quantization [5.1779694507922835]
量子化に対するネットワークの強固化に関する3つの知見を提示する。対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
論文参考訳（メタデータ） (2022-07-31T02:12:28Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文参考訳（メタデータ） (2020-12-20T18:25:29Z)
QuantNet: Learning to Quantize by Learning within Fully Differentiable Framework [32.465949985191635]
本稿では,QuantNetというメタベースの量子化器を提案する。本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
論文参考訳（メタデータ） (2020-09-10T01:41:05Z)
Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
論文参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。