論文の概要: Robust Residual Finite Scalar Quantization for Neural Compression

• arxiv url: http://arxiv.org/abs/2508.15860v2
• Date: Fri, 24 Oct 2025 09:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.321649
• Title: Robust Residual Finite Scalar Quantization for Neural Compression
• Title（参考訳）: ニューラル圧縮のためのロバスト残留有限スカラー量子化
• Abstract要約: 有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定での残留等級劣化に悩まされる。 本稿では,2つの新しい条件付け手法を用いて,この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。 RFSQの有効性と一般化性を示す。
• 参考スコア（独自算出の注目度）: 46.574899938569125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finite Scalar Quantization (FSQ) offers simplified training but suffers from residual magnitude decay in multi-stage settings, where subsequent stages receive exponentially weaker signals. We propose Robust Residual Finite Scalar Quantization (RFSQ), addressing this fundamental limitation through two novel conditioning strategies: learnable scaling factors and invertible layer normalization. Our experiments across audio and image modalities demonstrate RFSQ's effectiveness and generalizability. In audio reconstruction at 24 bits/frame, RFSQ-LayerNorm achieves 3.646 DNSMOS, a 3.6% improvement over state-of-the-art RVQ (3.518). On ImageNet, RFSQ achieves 0.102 L1 loss and 0.100 perceptual loss, with LayerNorm providing 9.7% L1 improvement and 17.4% perceptual improvement over unconditioned variants. The LayerNorm strategy consistently outperforms alternatives by maintaining normalized input statistics across stages, effectively preventing exponential magnitude decay that limits naive residual approaches. RFSQ combines FSQ's simplicity with multi-stage quantization's representational power, establishing a new standard for neural compression across diverse modalities.
• Abstract（参考訳）: 有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定で残留する等級劣化に悩まされ、その後の段階は指数的に弱い信号を受け取る。 本稿では、学習可能なスケーリング因子と可逆層正規化という2つの新しい条件付け手法により、この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。 RFSQの有効性と一般化性を示す。 24ビット/フレームでのオーディオ再構成では、RFSQ-LayerNormは3.646 DNSMOSを達成し、最先端のRVQ(3.518)よりも3.6%改善した。 ImageNetでは、FSQは0.102L1の損失と0.100の知覚的損失を達成し、LayerNormは9.7%のL1の改善と17.4%の知覚的改善を提供する。 レイヤーノーム戦略は、段階にわたって正規化された入力統計を保ち、単純な残留アプローチを制限する指数級数減衰を効果的に防止することで、オルタナティブよりも一貫して優れる。 RFSQはFSQの単純さと多段階量子化の表現力を組み合わせることで、様々なモードにわたるニューラル圧縮の新しい標準を確立している。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• A Method for Layer Bit-Width Allocation in LLM Quantization via Performance Maximization Under a Quality-Degradation Constraint [0.0]
  本稿ではGemma-3-1Bの層配置法を提案する。 時間と資源を消費する均一層量子化法とは異なる。 FFN と lm_head の場合、量子化/復号化の時間コストは整数演算によって補償される。
  論文  参考訳（メタデータ） (2026-08-28T07:13:42Z)
• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
  低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。 しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。 本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
  論文  参考訳（メタデータ） (2026-05-21T11:38:52Z)
• QB-LIF: Learnable-Scale Quantized Burst Neurons for Efficient SNNs [18.0608697536269]
  量子化されたBurst-LIFニューロンは、学習可能なスケールで膜電位の飽和均一な量子化としてバーストスパイクを再構成する。 QB-LIFはバイナリと固定バーストSNNを一貫して上回り、超低レイテンシで高い精度を達成する。
  論文  参考訳（メタデータ） (2026-04-28T14:18:53Z)
• BiRQA: Bidirectional Robust Quality Assessment for Images [49.74447451098852]
  フル参照画像品質評価(FR IQA)は、画像圧縮、復元、生成モデリングにおいて重要である。 本稿では、双方向の多スケールピラミッド内で4つの高速補完特徴を処理するコンパクトFR IQA計量モデルであるBiRQAを提案する。 5つのパブリックFR IQAベンチマークでは、BiRQAは以前のSOTAモデルよりも3倍高速で動作しながら、以前の状態(SOTA)より優れ、あるいは一致している。
  論文  参考訳（メタデータ） (2026-02-23T20:52:56Z)
• Breaking the Blocks: Continuous Low-Rank Decomposed Scaling for Unified LLM Quantization and Adaptation [46.34608916687127]
  低ランク分解スケーリング(LoRDS)は、この低ランク分解を通じて量子化の粒度を再考する統一フレームワークである。 空間的制約の「ブロックを壊す」ことで、LoRDSはシームレスな効率ライフサイクルを確立する。 LoRDSは、量子化タスクと下流細調整タスクの両方において、さまざまなモデルファミリの最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-30T08:46:02Z)
• iFSQ: Improving FSQ for Image Generation with 1 Line of Code [40.61338660155903]
  FSQの活性化関数を分布マッチングマッピングに置き換えて、均一な事前処理を行う方法を示す。 この単純な戦略は、1行のコードしか必要としないが、数学的には最適なビン利用と再構築精度の両方を保証している。 我々は、Representation Alignment(REPA)をARモデルに適用し、LlamaGen-REPAを生成することで分析を拡張した。
  論文  参考訳（メタデータ） (2026-01-23T19:00:35Z)
• FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching [4.01326804806241]
  Rank1-Sketch-based Flexible Rank Selection (R1-FLR) と Best Low-rank Approximation under Clipping (BLC) を導入する。 R1-FLRは高速な低ランク近似のためにガウス射影を持つR1-Sketchを適用し、各層に対して外向きのランク抽出を可能にする。 BLCは、スケーリングとクリッピング戦略の下での低ランク量子化誤差の最小化を目的としている。
  論文  参考訳（メタデータ） (2026-01-09T10:06:45Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法である この領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。 本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• Accelerating Feedback-Based Quantum Algorithms through Time Rescaling [0.0]
  TR-FQA と TR-FALQON は FQA と FALQON の時間スケール版である。 その結果,TR-FALQONは回路の初期層における最適解への収束を加速することがわかった。 状態準備の文脈では、TR-FQAはより優れた収束を示し、必要な回路深さを数百層削減する。
  論文  参考訳（メタデータ） (2025-04-02T00:05:01Z)
• End-to-End Implicit Neural Representations for Classification [57.55927378696826]
  Inlicit Neural representations (INRs) は、ニューラルネットワークパラメータの信号を符号化し、信号再構成に優れた結果を示す。 INRをベースとした分類は、CNNのようなピクセルベースの手法に比べて、依然としてかなり低性能である。 本研究は,SIRENを学習段階のスキームとともに初期化するエンド・ツー・エンドの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-23T16:02:23Z)
• Stabilizing Quantization-Aware Training by Implicit-Regularization on Hessian Matrix [0.7261171488281837]
  損失の急激な状況は、劇的なパフォーマンス低下を招き、不安定を引き起こす重要な要因であることがわかった。 本稿では, 定量化モデルに特徴蒸留法を適用し, 一般化するためのFPQを提案する。
  論文  参考訳（メタデータ） (2025-03-14T07:56:20Z)
• Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations [2.209921757303168]
  重み選択を最適化するのではなく、緩和信号の崩壊がプルーニングネットワークの精度向上の鍵であることを示す。 トレーニング可能な重みを更新することなく,信号の崩壊に対処するREFLOWを提案する。 我々は、ResNeXt101の精度をImageNetで4.1%未満から78.9%に復元し、重量の20%しか残っていない。
  論文  参考訳（メタデータ） (2025-02-18T15:47:33Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
  本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
  論文  参考訳（メタデータ） (2023-05-10T04:19:11Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
  本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。 CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。 パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2022-07-21T07:50:50Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Fully Quantized Image Super-Resolution Networks [81.75002888152159]
  効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。 我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。 低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
  論文  参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。