論文の概要: Generalization behavior of OPTQ and the role of regularization

• arxiv url: http://arxiv.org/abs/2609.31560v1
• Date: Fri, 25 Sep 2026 17:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.519523
• Title: Generalization behavior of OPTQ and the role of regularization
• Title（参考訳）: OPTQの一般化挙動と正規化の役割
• Abstract要約: OPTQは、ニューラルネットワークの重みを段階的に定量化し、キャリブレーションデータセット上の2乗量子化誤差を可能な限り小さくする。 我々は, OPTQ と変分アルゴリズム OPTQ の性能を一般化条件で検討し, 予測二乗誤差の導出バウンダリを導出する。 これらの結果のどちらも、正規化用語$が重要な役割を果たす。
• 参考スコア（独自算出の注目度）: 2.9793019246605668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large neural networks can be compressed by rounding or "quantizing" their weights to numbers that admit representations with fewer bits. One algorithm for quantization, OPTQ, progressively quantizes the weights of a neural network so that the squared quantization error on a specified calibration dataset is as small as possible. We study the performance of OPTQ and a variant algorithm, stochastic OPTQ, in a generalization setting and derive bounds for the expected squared error accrued by the algorithm when a test point is drawn from a fixed distribution. We prove two results. One result relates the generalization error to the error on a calibration dataset comprising independent samples from the same distribution as the test distribution. The other result bounds the generalization error of stochastic OPTQ for all sufficiently nice distributions, regardless of the calibration dataset. In both of these results, the regularization term $λ$ plays an important role. We use insights from these results to make a new recommendation for the choice of $λ$ and see that this choice of $λ$ preforms favorably in experiments when compared to prior recommendations in the literature.
• Abstract（参考訳）: 大規模なニューラルネットワークは、より少ないビットで表現できる数に重みを丸め、あるいは「量子化」することで圧縮することができる。 量子化のための1つのアルゴリズムであるOPTQは、ニューラルネットワークの重みを段階的に量子化し、指定されたキャリブレーションデータセット上の2乗量子化誤差を可能な限り小さくする。 我々は,OPTQと変分アルゴリズムである確率OPTQの性能を一般化設定で検討し,固定分布からテストポイントを引いた場合,アルゴリズムによって得られた期待二乗誤差の帰結境界を導出する。 2つの結果が得られます。 1つの結果は、テスト分布と同じ分布から独立したサンプルからなるキャリブレーションデータセット上の誤差に一般化誤差を関連付ける。 もう1つの結果は、キャリブレーションデータセットに関係なく、十分良い分布に対する確率的OPTQの一般化誤差を境界とする。 これらの結果の両方において、$λ$という正規化項は重要な役割を果たす。 これらの結果から得られた洞察を用いて、$λ$の選択に対する新しい推奨を行い、文献の事前の勧告と比較して、この$λ$プリフォームの選択が実験において好適であることを示す。

関連論文リスト

• Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model [0.554780083433538]
  ガウス位置モデルにおけるリッジ正規化対数密度比の推定について検討する。 変分推定器は、経験的クルバック・リーブラー(KL)対数正規化フィッティングであり、その非定数係数は2乗 L2-ペナルティである。
  論文  参考訳（メタデータ） (2026-07-02T08:46:52Z)
• Optimal Deterministic Multicalibration and Omniprediction [11.731410573120856]
  モデルが校正された場合、群重みの集合に$G$で多重校正される。 決定論的予測子は、ミニマックス最適$widetilde O(varepsilon-3)$ sample complexity rateに達することが知られている。
  論文  参考訳（メタデータ） (2026-06-18T17:59:31Z)
• Optimal Post-Training Quantization Scales and Where to Find Them [1.3048920509133808]
  ポストトレーニング量子化(PTQ)は、重みを低表現にマッピングすることで、大きな言語モデルを圧縮する。 本稿では, チャネルワイド重み計算アルゴリズムであるPiSOを, ラウンド・ツー・アネレスト量子化の下で正確に, 効率的に計算する。
  論文  参考訳（メタデータ） (2026-06-09T14:03:04Z)
• Data-driven adaptive quantum error mitigation for probability distribution [0.0]
  確率分布に対する量子誤差緩和(QEM)の精度を改善するための2つのプロトコルを提案する。 1つ目は、異なるQEM戦略を用いて得られた確率分布を比較するN-versionプログラミング法である。 2つ目は、適切な外挿戦略を選択するための一貫性に基づく方法である。
  論文  参考訳（メタデータ） (2025-11-17T10:50:28Z)
• Sample-efficient Multiclass Calibration under $\ell_{p}$ Error [11.36431801454661]
  ラベル上の分布を出力するマルチクラス予測器の校正は、予測値の指数的な数のために困難である。 本研究では,2つの確立された校正誤差概念を補間する誤りの定義を提案する。 重要な技術的貢献は、高い適応性を持つデータ分析の新たな応用であるが、サンプルの複雑さにおける対数的オーバーヘッドのみである。
  論文  参考訳（メタデータ） (2025-09-26T23:30:31Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• The Accuracy vs. Sampling Overhead Trade-off in Quantum Error Mitigation Using Monte Carlo-Based Channel Inversion [84.66087478797475]
  量子誤差緩和(Quantum error mitigation, QEM)は、変分量子アルゴリズムの計算誤差を低減するための有望な手法の1つである。 我々はモンテカルロサンプリングに基づく実用的なチャネル反転戦略を考察し、さらなる計算誤差を導入する。 計算誤差が誤差のない結果の動的範囲と比較して小さい場合、ゲート数の平方根でスケールすることを示す。
  論文  参考訳（メタデータ） (2022-01-20T00:05:01Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。