論文の概要: Q-MINO: A Minimal-Norm Method for Quantization-Aware Training

• arxiv url: http://arxiv.org/abs/2610.00738v1
• Date: Wed, 30 Sep 2026 21:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.77423
• Title: Q-MINO: A Minimal-Norm Method for Quantization-Aware Training
• Title（参考訳）: Q-MINO:量子化学習のための最小ノルム法
• Abstract要約: 量子化対応最小ドリフト最適化パラメータ状態(Q-MINO)を提案する。 Q-MINOは、勾配のコンセンサス、状態ドリフトの正規化、およびアライメント制約を組み合わせて、安定で最小限の更新方向を構築する。 本稿では,Q-MINOが数値収束を実現することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Straight-Through Estimator (STE) is a widely used heuristic for Quantization-Aware Training (QAT), but its surrogate gradients can exhibit substantial mismatch with the underlying quantized objective, leading to noisy updates and parameter oscillations, particularly in ultra-low-bit regimes. We propose the Quantization-Aware Minimal-Norm Optimizer (Q-MINO), a temporal bundle method that combines gradient consensus, state-drift regularization, and an alignment constraint to construct stabilized, minimum-norm update directions from recent optimization states. Q-MINO solves the resulting constrained subproblem using a warm-started Frank--Wolfe procedure with a feasible fallback initialization. Theoretically, via a stochastic Lyapunov Kurdyka--Łojasiewicz (KL) framework, we show that Q-MINO achieves asymptotic neighborhood convergence. Moreover, we detail numerical experiments with Q-MINO at various quantizations.
• Abstract（参考訳）: Straight-Through Estimator (STE) は量子化意識訓練(QAT)において広く用いられているヒューリスティックであるが、そのサロゲート勾配は、基礎となる量子化目標とかなりのミスマッチを示し、特に超低ビット状態においてノイズの多い更新とパラメータ振動を引き起こす。 本稿では、勾配のコンセンサス、状態ドリフト正則化とアライメント制約を組み合わせた時間的バンドル手法であるQuantization-Aware Minimal-Norm Optimizer (Q-MINO)を提案する。 Q-MINO は、ウォームスタートしたフランク=ウルフの手続きを、実現可能なフォールバック初期化で解く。理論的には、確率的リアプノフ・クルディカ-ジョジャシエヴィチ(KL)フレームワークを通して、Q-MINO が漸近近傍収束を達成することを示す。 さらに,様々な量子化におけるQ-MINOを用いた数値実験について述べる。

関連論文リスト

• Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization [59.75358446504504]
  本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。 我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。 また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
  論文  参考訳（メタデータ） (2026-10-01T12:32:40Z)
• Quantum Tilted Loss in Variational Optimization: Theory and Applications [2.274915755738124]
  最適化ランドスケープを再構築するために、Quantum Tilted Loss (QTL)を導入します。 QTLは、問題の真のグローバルなミニマを保ちながら、構造化された設定で勾配信号を増幅することができる。 トレーニング可能性と予測可能性のトレードオフを形式化し、アグレッシブな傾きが最適化のボトルネックを根本的に変えることを示す。
  論文  参考訳（メタデータ） (2026-05-04T17:25:43Z)
• EQE-QAOA: An Equivalence-Preserving Qubit Efficient Framework for Combinatorial Optimization [54.05451096499336]
  既存の技術は情報損失のコストで量子ビットの削減に依存しており、計算性能は劣化している。 等価保存量子ビット効率QAOAを提案し、性能を劣化させることなく必要なキュービット数を著しく削減する。 完全独立変数を持つ非制約問題を除いて,大規模最適化問題に広く適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-20T13:57:49Z)
• Design and Analysis of an Improved Constrained Hypercube Mixer in Quantum Approximate Optimization Algorithm [0.0]
  Noisy Intermediate-Scale Quantum (NISQ) 時代において、QAOAは制約された問題には適していない。 ある種の制約を組み込む一つの方法は、混合作用素を実行可能な部分空間に制限することである。 広い制約問題に対して,より少ないゲートで回路を生成する改造を提案する。
  論文  参考訳（メタデータ） (2026-03-05T13:57:15Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Online Convex Optimization and Integral Quadratic Constraints: An automated approach to regret analysis [0.0]
  我々は,厳密な凸とリプシッツ・スムース目的に対する一階制約付きオンライン凸最適化アルゴリズムの動的後悔を分析した。 我々は、オンラインアルゴリズムに対する後悔の保証を提供する半確定的なプログラムを導出する。
  論文  参考訳（メタデータ） (2025-03-30T21:48:11Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Quantum annealing initialization of the quantum approximate optimization algorithm [0.0]
  量子近似最適化アルゴリズム(QAOA)は、近い将来の量子アルゴリズムである。 QAOAで必要とされる外部パラメータの最適化は、パフォーマンスのボトルネックになる可能性がある。 本研究では、ランダムグラフ上のMaxCut問題に適用されたQAOAの最適化景観を可視化する。
  論文  参考訳（メタデータ） (2021-01-14T17:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。