論文の概要: Revisiting Error Feedback for Model Quantization

• arxiv url: http://arxiv.org/abs/2610.18139v1
• Date: Tue, 13 Oct 2026 10:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:14:28.084403
• Title: Revisiting Error Feedback for Model Quantization
• Title（参考訳）: モデル量子化のための誤りフィードバックの再検討
• Abstract要約: モデル量子化のための設計変数として因果誤差フィードバック係数について検討する。 フィードバック係数を設計するための計量依存トレース問題を定式化する。
• 参考スコア（独自算出の注目度）: 18.40550237813324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study causal error-feedback coefficients as design variables for model quantization. Modeling instantaneous quantization errors as independent, zero-mean variables with a common fixed variance, we formulated a metric-dependent trace problem for designing feedback coefficients. The formulation resembles fixed-order GPTQ/LDLQ feedback and supports Jacobian-aware designs that account for downstream error propagation. For a positive-definite metric $\boldsymbol{H}$, we prove that the joint rotation-feedback trace minimum is $n\det(\boldsymbol{H})^{1/n}$ and present an attaining pair using the geometric mean decomposition. Experiments on synthetic networks, trained MLPs, and language models show benefits from downstream-sensitive feedback, but also reveal that trace optimality need not improve finite-level performance. Small QAT experiments further illustrate direct loss-driven feedback tuning with fixed or trainable network weights.
• Abstract（参考訳）: モデル量子化のための設計変数として因果誤差フィードバック係数について検討する。 瞬時量子化誤差を共分散したゼロ平均変数としてモデル化し、フィードバック係数を設計するための計量依存トレース問題を定式化した。 この定式化は、固定順序GPTQ/LDLQフィードバックに似ており、下流エラーの伝搬を考慮に入れたヤコビアン対応の設計をサポートしている。 正定値計量 $\boldsymbol{H}$ に対して、結合回転フィードバックトレース極小が $n\det(\boldsymbol{H})^{1/n}$ であることを証明する。 合成ネットワーク、訓練されたMLP、言語モデルの実験は、下流に敏感なフィードバックの利点を示しているが、トレース最適性は有限レベル性能を改善する必要はないことも明らかにしている。 小型QAT実験はさらに、固定またはトレーニング可能なネットワーク重みによる直接損失駆動フィードバックチューニングを例示している。

関連論文リスト

• Conditional neural control variates for variance reduction in Bayesian inverse problems [3.3999373406262663]
  我々はモンテカルロ推定器の分散を低減するために条件付きニューラル・コントロール・バリアントを導入する。 トレーニングには未知のパラメータと観測データの共同分布からのサンプルが必要である。 我々は,スタイリングおよび偏微分方程式に制約されたダーシー流逆問題に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2026-02-24T20:40:20Z)
• Reductions of QAOA Induced by Classical Symmetries: Theoretical Insights and Practical Implications [0.35398689122254773]
  古典的対称性はQAOAの設計原理として体系的に活用できることを示す。 リー代数の構造は、どの変数が固定されているかによって劇的に変化することを示す。 結果は、表現的でトレーニング可能なQAOA回路を設計するための基本ツールとして、対称性を考慮したリダクションを確立する。
  論文  参考訳（メタデータ） (2026-02-18T02:20:42Z)
• Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning [0.7734726150561088]
  QUBOは、一階と二階の統計量の間のより大きな交差項を誘導し、フィッシャー情報行列においてより小さな固有値方向を生成する。 イジングエンコーディングは、より等方的曲率とより高速な収束を提供する。 これらの結果は,ボルツマンマシンにおける情報幾何学および有限時間学習力学の表現の形状について明らかにした。
  論文  参考訳（メタデータ） (2025-10-15T06:57:23Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
  この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。 数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
  論文  参考訳（メタデータ） (2021-06-30T16:50:11Z)
• Equivariant Wavelets: Fast Rotation and Translation Invariant Wavelet Scattering Transforms [0.0]
  画像統計に対称性を与えることは、人間の解釈性を改善し、一般化を助け、寸法減少をもたらす。 本稿では,高速かつ変換不変かつ回転不変なウェーブレット散乱ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-04-22T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。