論文の概要: WaterKron and FlipFlop Hessian: Information-Theoretically Grounded Quantization with Kronecker-factored Hessians

• arxiv url: http://arxiv.org/abs/2609.14706v1
• Date: Sun, 13 Sep 2026 18:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.897978
• Title: WaterKron and FlipFlop Hessian: Information-Theoretically Grounded Quantization with Kronecker-factored Hessians
• Title（参考訳）: WaterKron and FlipFlop Hessian: Kronecker-factored Hessianによる情報理論的基底量子化
• Abstract要約: WaterKronは、両側のGPTQと行および列に依存した給水スケールとエントロピー符号化を組み合わせる。 我々は、明示的なクロネッカー・ヘッセンのミスマッチ係数$$を用いて、全ヘッセンに対してその高速な歪みを導出する。 FlipFlop Hessian は入力のみ、辺縁、およびフロベニウスに基づく Hessian 選択よりも KL のばらつきと難易度を一貫して改善する。
• 参考スコア（独自算出の注目度）: 1.2604738912025473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How should a Kronecker-factored Hessian approximation be chosen for post-training quantization? We address this question through WaterKron, which combines two-sided GPTQ with row- and column-dependent waterfilling scales and entropy coding. We derive its high-rate distortion with respect to the full Hessian using an explicit Kronecker-Hessian mismatch factor $Φ$. This factor quantifies the asymptotic distortion penalty due to the Kronecker Hessian approximation and provides a criterion for selecting the factors optimally. Minimizing $Φ$ leads to a Gaussian covariance-fitting problem with classical ``flip-flop'' updates. We thus give a rate-distortion justification for using the resulting FlipFlop Hessian in quantization. We evaluate it empirically, finding that the FlipFlop Hessian consistently improves KL divergence and perplexity over input-only, marginal, and Frobenius-based Hessian choices.
• Abstract（参考訳）: Kronecker-factored Hessian approximation for post-training Quantization? 両面GPTQと行および列依存の給水スケールとエントロピー符号化を組み合わせたWaterKronによるこの問題に対処する。 我々は、明示的なクロネッカー・ヘッセンのミスマッチ係数を$$とすることで、全ヘッセンに対して高いレートの歪みを導出する。 この因子はクロネッカー・ヘッセン近似による漸近歪みのペナルティを定量化し、最適な因子を選択するための基準を与える。 $ の最小化は、古典的な ``flip-flop'' 更新によるガウスの共分散適合問題につながる。 したがって、量子化において結果のFlipFlop Hessianを使用するために、レート歪みの正当性を与える。 FlipFlop Hessian は入力のみ、辺縁、およびフロベニウスに基づく Hessian 選択よりも KL のばらつきと難易度を一貫して改善する。

関連論文リスト

• Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering [0.7614628596146601]
  等しい全質量の任意の正の行辺に対して、合同KL射影はちょうど$r-1の有効変数のみを持つ厳密な凸ゲージ固定双対に還元される。 この幾何学を専門とし、$W=UnameDiag(g)-1Vtop$で2倍グラフ学習を誘導する。 観察されたスパースフィッティング、アンカーエッジ多様体正規化器、ブレグマンのバックトラックと組み合わせることで、ミラー・ディフレッシュ法は受け入れられたステップごとに正確な実現可能性を維持する。
  論文  参考訳（メタデータ） (2026-08-09T11:29:05Z)
• Smoothness-Based Derandomization of PAC-Bayes Bounds [48.06655334157014]
  滑らかな損失関数に対するPAC-Bayesデランドマイゼーションについて検討した。 我々は,ギブス予測器から後方平均における決定論的予測器への非有界通過に正確なコストがかかることを示した。 結果は線形予測器やスムーズなニューラルネットワークに特化する。
  論文  参考訳（メタデータ） (2026-06-17T14:17:44Z)
• Rethinking Bregman Divergences in Kronecker-Factored Optimizers [9.141684114595433]
  Frobenius, von Neumann, LogDet の発散は避けられない Kronecker 近似誤差が異なることを示している。 上部分空間に固有値に基づくプレコンディショニングを適用し,下部分空間に適応等方的加速度定数を用いる部分空間対応Kroneckerを提案する。
  論文  参考訳（メタデータ） (2026-05-30T05:17:48Z)
• On the Stability of Spherical Hellinger-Kantorovich Flows and Their Implications for Differential Privacy [3.251449696624754]
  我々は、SHK勾配流の摂動理論を開発し、時間とともに潜在的な不一致がどのように伝播するかを定量化する。 一様境界は、対数様比とレニイ発散の次元自由、点ワイズ制御をもたらす。 これらの結果を差分プライバシーの指数的メカニズムの近似サンプリングに適用する。
  論文  参考訳（メタデータ） (2026-05-22T17:38:20Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
  変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。 ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
  論文  参考訳（メタデータ） (2026-01-31T15:49:23Z)
• Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points [54.06226763868876]
  ワッサーシュタインフロー (WGF) は測度空間上で最適化を行う一般的な方法である。 PWGFは一般の非目的の観点で大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2025-09-21T08:14:20Z)
• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
  PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。 我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。 我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
  論文  参考訳（メタデータ） (2023-11-08T05:26:58Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Debiased Sinkhorn barycenters [110.79706180350507]
  最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。