論文の概要: Robust Residual Finite Scalar Quantization for Neural Compression

• arxiv url: http://arxiv.org/abs/2508.15860v1
• Date: Wed, 20 Aug 2025 15:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.128638
• Title: Robust Residual Finite Scalar Quantization for Neural Compression
• Title（参考訳）: ニューラル圧縮のためのロバスト残留有限スカラー量子化
• Authors: Xiaoxu Zhu,
• Abstract要約: 有限スカラー量子化(FSQ)は、ニューラル圧縮においてベクトル量子化(VQ)に代わる有望な代替手段として登場した。 我々はこの基本的な制限に対処する一般的なフレームワークである textbfRobust Residual Finite Scalar Quantization (RFSQ) を提案する。 提案手法は,FSQの簡易性を維持しつつ,有効な多段階残差量子化を実現している。
• 参考スコア（独自算出の注目度）: 3.10507632753978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite Scalar Quantization (FSQ) has emerged as a promising alternative to Vector Quantization (VQ) in neural compression, offering simplified training and improved stability. However, naive application of FSQ in residual quantization frameworks suffers from the \textbf{residual magnitude decay problem}, where subsequent FSQ layers receive progressively weaker signals, severely limiting their effectiveness. We propose \textbf{Robust Residual Finite Scalar Quantization (RFSQ)}, a general framework that addresses this fundamental limitation through two novel conditioning strategies: learnable scaling factors and invertible layer normalization. Our approach maintains the simplicity of FSQ while enabling effective multi-stage residual quantization. Comprehensive experiments on ImageNet demonstrate that RFSQ variants significantly outperform strong baselines including VQ-EMA, FSQ, and LFQ, achieving up to 45\% improvement in perceptual loss and 28.7\% reduction in L1 reconstruction error. The proposed LayerNorm strategy shows the most consistent improvements across different configurations, establishing RFSQ as a superior quantization method for neural compression.
• Abstract（参考訳）: 有限スカラー量子化(FSQ)は、ニューラルネットワークにおけるベクトル量子化(VQ)に代わる有望な代替手段として登場し、トレーニングの簡略化と安定性の向上を提供する。 しかし、残留量子化フレームワークにおけるFSQの単純適用は、その後のFSQ層が徐々に弱い信号を受信し、その効果を著しく制限する「textbf{residual magnitude decay problem」に悩まされる。 本稿では,学習可能なスケーリング因子と非可逆層正規化という2つの新しい条件付け戦略を通じて,この基本的制限に対処する一般的なフレームワークである,‘textbf{Robust Residual Finite Scalar Quantization(RFSQ)’を提案する。 提案手法は,FSQの簡易性を維持しつつ,有効な多段階残差量子化を実現している。 ImageNetの総合的な実験によると、FSQの変種はVQ-EMA、FSQ、LFQなどの強力なベースラインを著しく上回り、知覚的損失が最大45倍、L1再構成エラーが28.7%減少した。 提案したLayerNorm戦略は、異なる構成間で最も一貫した改善を示し、ニューラル圧縮の優れた量子化方法として RFSQ を確立する。

関連論文リスト

• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法である この領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。 本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• Accelerating Feedback-Based Quantum Algorithms through Time Rescaling [0.0]
  TR-FQA と TR-FALQON は FQA と FALQON の時間スケール版である。 その結果,TR-FALQONは回路の初期層における最適解への収束を加速することがわかった。 状態準備の文脈では、TR-FQAはより優れた収束を示し、必要な回路深さを数百層削減する。
  論文  参考訳（メタデータ） (2025-04-02T00:05:01Z)
• Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix [0.7261171488281837]
  損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 本稿では, 定量化モデルに特徴蒸留法を適用し, 一般化するためのFPQを提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:56:20Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
  本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
  論文  参考訳（メタデータ） (2023-05-10T04:19:11Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。