論文の概要: Robust Residual Finite Scalar Quantization for Neural Compression

• arxiv url: http://arxiv.org/abs/2508.15860v1
• Date: Wed, 20 Aug 2025 15:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.128638
• Title: Robust Residual Finite Scalar Quantization for Neural Compression
• Title（参考訳）: ニューラル圧縮のためのロバスト残留有限スカラー量子化
• Authors: Xiaoxu Zhu,
• Abstract要約: 有限スカラー量子化(FSQ)は、ニューラル圧縮においてベクトル量子化(VQ)に代わる有望な代替手段として登場した。 我々はこの基本的な制限に対処する一般的なフレームワークである textbfRobust Residual Finite Scalar Quantization (RFSQ) を提案する。 提案手法は,FSQの簡易性を維持しつつ,有効な多段階残差量子化を実現している。
• 参考スコア（独自算出の注目度）: 3.10507632753978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite Scalar Quantization (FSQ) has emerged as a promising alternative to Vector Quantization (VQ) in neural compression, offering simplified training and improved stability. However, naive application of FSQ in residual quantization frameworks suffers from the \textbf{residual magnitude decay problem}, where subsequent FSQ layers receive progressively weaker signals, severely limiting their effectiveness. We propose \textbf{Robust Residual Finite Scalar Quantization (RFSQ)}, a general framework that addresses this fundamental limitation through two novel conditioning strategies: learnable scaling factors and invertible layer normalization. Our approach maintains the simplicity of FSQ while enabling effective multi-stage residual quantization. Comprehensive experiments on ImageNet demonstrate that RFSQ variants significantly outperform strong baselines including VQ-EMA, FSQ, and LFQ, achieving up to 45\% improvement in perceptual loss and 28.7\% reduction in L1 reconstruction error. The proposed LayerNorm strategy shows the most consistent improvements across different configurations, establishing RFSQ as a superior quantization method for neural compression.
• Abstract（参考訳）: 有限スカラー量子化(FSQ)は、ニューラルネットワークにおけるベクトル量子化(VQ)に代わる有望な代替手段として登場し、トレーニングの簡略化と安定性の向上を提供する。 しかし、残留量子化フレームワークにおけるFSQの単純適用は、その後のFSQ層が徐々に弱い信号を受信し、その効果を著しく制限する「textbf{residual magnitude decay problem」に悩まされる。 本稿では,学習可能なスケーリング因子と非可逆層正規化という2つの新しい条件付け戦略を通じて,この基本的制限に対処する一般的なフレームワークである,‘textbf{Robust Residual Finite Scalar Quantization(RFSQ)’を提案する。 提案手法は,FSQの簡易性を維持しつつ,有効な多段階残差量子化を実現している。 ImageNetの総合的な実験によると、FSQの変種はVQ-EMA、FSQ、LFQなどの強力なベースラインを著しく上回り、知覚的損失が最大45倍、L1再構成エラーが28.7%減少した。 提案したLayerNorm戦略は、異なる構成間で最も一貫した改善を示し、ニューラル圧縮の優れた量子化方法として RFSQ を確立する。

関連論文リスト

• BiRQA: Bidirectional Robust Quality Assessment for Images [49.74447451098852]
  フル参照画像品質評価(FR IQA)は、画像圧縮、復元、生成モデリングにおいて重要である。 本稿では、双方向の多スケールピラミッド内で4つの高速補完特徴を処理するコンパクトFR IQA計量モデルであるBiRQAを提案する。 5つのパブリックFR IQAベンチマークでは、BiRQAは以前のSOTAモデルよりも3倍高速で動作しながら、以前の状態(SOTA)より優れ、あるいは一致している。
  論文  参考訳（メタデータ） (2026-02-23T20:52:56Z)
• Breaking the Blocks: Continuous Low-Rank Decomposed Scaling for Unified LLM Quantization and Adaptation [46.34608916687127]
  低ランク分解スケーリング(LoRDS)は、この低ランク分解を通じて量子化の粒度を再考する統一フレームワークである。 空間的制約の「ブロックを壊す」ことで、LoRDSはシームレスな効率ライフサイクルを確立する。 LoRDSは、量子化タスクと下流細調整タスクの両方において、さまざまなモデルファミリの最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-30T08:46:02Z)
• iFSQ: Improving FSQ for Image Generation with 1 Line of Code [40.61338660155903]
  FSQの活性化関数を分布マッチングマッピングに置き換えて、均一な事前処理を行う方法を示す。 この単純な戦略は、1行のコードしか必要としないが、数学的には最適なビン利用と再構築精度の両方を保証している。 我々は、Representation Alignment(REPA)をARモデルに適用し、LlamaGen-REPAを生成することで分析を拡張した。
  論文  参考訳（メタデータ） (2026-01-23T19:00:35Z)
• FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching [4.01326804806241]
  Rank1-Sketch-based Flexible Rank Selection (R1-FLR) と Best Low-rank Approximation under Clipping (BLC) を導入する。 R1-FLRは高速な低ランク近似のためにガウス射影を持つR1-Sketchを適用し、各層に対して外向きのランク抽出を可能にする。 BLCは、スケーリングとクリッピング戦略の下での低ランク量子化誤差の最小化を目的としている。
  論文  参考訳（メタデータ） (2026-01-09T10:06:45Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法である この領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。 本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• Accelerating Feedback-Based Quantum Algorithms through Time Rescaling [0.0]
  TR-FQA と TR-FALQON は FQA と FALQON の時間スケール版である。 その結果,TR-FALQONは回路の初期層における最適解への収束を加速することがわかった。 状態準備の文脈では、TR-FQAはより優れた収束を示し、必要な回路深さを数百層削減する。
  論文  参考訳（メタデータ） (2025-04-02T00:05:01Z)
• End-to-End Implicit Neural Representations for Classification [57.55927378696826]
  Inlicit Neural representations (INRs) は、ニューラルネットワークパラメータの信号を符号化し、信号再構成に優れた結果を示す。 INRをベースとした分類は、CNNのようなピクセルベースの手法に比べて、依然としてかなり低性能である。 本研究は,SIRENを学習段階のスキームとともに初期化するエンド・ツー・エンドの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-23T16:02:23Z)
• Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix [0.7261171488281837]
  損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 本稿では, 定量化モデルに特徴蒸留法を適用し, 一般化するためのFPQを提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:56:20Z)
• Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations [2.209921757303168]
  重み選択を最適化するのではなく、緩和信号の崩壊がプルーニングネットワークの精度向上の鍵であることを示す。 トレーニング可能な重みを更新することなく,信号の崩壊に対処するREFLOWを提案する。 我々は、ResNeXt101の精度をImageNetで4.1%未満から78.9%に復元し、重量の20%しか残っていない。
  論文  参考訳（メタデータ） (2025-02-18T15:47:33Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
  本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
  論文  参考訳（メタデータ） (2023-05-10T04:19:11Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。