論文の概要: How Much Does Random Rotation Help GPTQ? Sharp Worst-Case Rate Gaps in the High-Rate Regime

• arxiv url: http://arxiv.org/abs/2611.01669v1
• Date: Sun, 01 Nov 2026 07:30:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:57.846469
• Title: How Much Does Random Rotation Help GPTQ? Sharp Worst-Case Rate Gaps in the High-Rate Regime
• Title（参考訳）: ランダム回転はGPTQにどの程度役立つか?
• Abstract要約: GPTQは、ババイの最も近い平面アルゴリズムであり、層が入力する第2モーメントのチョレスキー因子の格子上のものである。 ハール回転の後、$k$-階のピボットは、ほぼ確実に$kgen$と有界条件数のスペクトル$を$/S_(-k/n)$に収束することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: GPTQ is Babai's nearest-plane algorithm on the lattice of the Cholesky factor of the layer's input second moment $Σ$. In the high-rate, entropy-coded regime it needs $\tfrac12\log_2(\AM/\GM)$ of its Cholesky pivots more bits than WaterSIC, which is within $0.255$ bit of the rate-distortion limit for every $Σ$; random rotations close most of this gap in practice, and Ordentlich and Polyanskiy asked for the worst-case gap between rotated GPTQ and WaterSIC. We show that after a Haar rotation the $k$-th pivot converges almost surely, uniformly in $k\geδn$ and over spectra $ν$ of bounded condition number, to $1/S_ν(-k/n)$, a classical formula from the theory of Lyapunov exponents, and use it to answer the question. Over spectra with condition number $κ$ the worst rotated gap is $\tfrac12\log_2κ-\log_2\lnκ+\tfrac12-\tfrac1{\ln2}+o(1)$ bits, attained only by two-point spectra, just $\tfrac12\log_2\lnκ+O(1)$ bits below the worst case without rotation, so rotation cannot replace waterfilling in general. It nearly can on real layers: rotation cuts the cost of an $η$-fraction of outlier eigenvalues of size $μ$ from about $ημ$ to $η^2μ/2$ to leading order, but cannot remove spectral spread on a logarithmic scale; for non-Gaussian weights it also adds a weight-side rate cost, which we characterize exactly under a standard high-rate assumption. On $96$ Hessians of Qwen3 and Llama-3.1 the rotated gap has median $0.04$ bit and maximum $0.36$ bit, against $2$--$5$ bits in the worst case for the same condition numbers, and the limit matches it to within $0.009$ bit.
• Abstract（参考訳）: GPTQは、層が入力する第2モーメント$Σ$のチョレスキー因子の格子上のババイの最も近い平面アルゴリズムである。 高いレートでエントロピー符号化されたシステムでは、CholeskyのピボットはWaterSICよりも多くのビットが必要であり、これはすべての$Σ$に対するレート歪み限界の0.255$ビット以内であり、ランダムなローテーションは実際にこのギャップの大部分を閉じ、OrdentlichとPolyanskiyは、回転したGPTQとWaterSICの最悪のケースギャップを要求した。 ハール回転の後、$k$-階のピボットは、ほぼ確実に$k\geδn$と有界条件数のスペクトル$ν$から$/S_ν(-k/n)$に収束し、リアプノフ指数の理論から古典的な公式となり、その問題に答える。 条件番号 $κ$ 最悪の回転ギャップは $\tfrac12\log_2κ-\log_2\lnκ+\tfrac12-\tfrac1{\ln2}+o(1) で、2点スペクトルでしか得られない。 ローテーションは、約$ημ$から$η^2μ/2$のオフリー固有値の$η$-fractionのコストを先頭の順に削減するが、対数スケールでのスペクトル拡散を除去することはできない。 Qwen3 と Llama-3.1 の 96$ Hessian では、ローテーションされたギャップの中央値は0.04$ bit であり、最大は0.36$ bit であり、同じ条件数で最悪の場合は 2$-5$ bit であり、上限は0.009$ bit である。

関連論文リスト

• The exact LCU sampling overhead of collective diagonal unitaries: resonances and a continued-fraction dichotomy [3.3103140360817473]
  アンシラフリーサンプリングは、ターゲットの結果の確率を最小$$まで再現する。 置換対称$K$の場合、独立な1量子角または任意の1量子ゲートの1層は、それ以上の減少を与えない。 上界を通してのみ知られている構成の場合、最適である。
  論文  参考訳（メタデータ） (2026-10-02T17:00:56Z)
• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• Poisson Exchange Beyond Submodularity: Effective Approximation Algorithms for Offline and Online Subset Selection over Matroids [46.81212204219748]
  本稿では,不均一なポアソン時計を注意深く制御することで,最大利得の局所交換を繰り返すMGPEと呼ばれる新しいアルゴリズムを提案する。 また,マトロイド制約が濃度に減少するか,あるいは目標が$$$-weak DR-submodularityというより強い概念を満たす場合,MGPEはそれぞれ1-e-$と1-e-$の厳密な近似比を自動的に回復できることを示した。
  論文  参考訳（メタデータ） (2026-09-21T13:35:10Z)
• Asymptotically Optimal Regret for Reinforcement Learning without Horizon Dependence [54.59847568544922]
  有限水平時間同質なマルコフ決定過程に対して、$A$状態、$A$アクション、hoighty $H$、および1ドルで有界なトラジェクティブ当たりの合計報酬について、地平自由な後悔について検討する。 失敗確率$$K$はエピソード数で$tilde O(sqrtSAK+S3K)$ hides $mathsfpolyである。
  論文  参考訳（メタデータ） (2026-07-22T07:42:19Z)
• Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale [54.65053906803857]
  実数値関数クラスが一様収束と学習可能性を示す最適尺度について検討する。 本研究の主な成果は,PAC学習の基本定理のスケール敏感な一般化である。 また、定量的サンプルの複雑さと評価可能性に関するオープンな質問をいくつか取り上げる。
  論文  参考訳（メタデータ） (2026-05-13T15:41:30Z)
• OAM-Induced Lattice Rotation Reveals a Fractional Optimum in Fault-Tolerant GKP Quantum Sensing [0.0]
  軌道角モメンタム符号化とGottesman-Kitaev-Preskill(GKP)格子幾何学が構造的に結合していることを確立する。 終端から終端までの微分可能なStrawberry Fields--TensorFlow回路を用いて、$ell$、格子アスペクト比$r$、および有限エネルギーエンベロープ$$を共に最適化し、量子フィッシャー情報を最大化する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:16Z)
• Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space [10.292118864147097]
  ワッサーシュタイン空間上の有限次元多面体部分集合の理論を開発し、一階法による函数の最適化を行う。 我々の主な応用は平均場変動推論の問題であり、これは分布の$pi$ over $mathbbRd$を製品測度$pistar$で近似しようとするものである。 解析の副産物として,MFVIのための勾配に基づくアルゴリズムの最初のエンドツーエンド解析を求める。
  論文  参考訳（メタデータ） (2023-12-05T16:02:04Z)
• Detection of Dense Subhypergraphs by Low-Degree Polynomials [72.4451045270967]
  ランダムグラフにおける植込み高密度部分グラフの検出は、基本的な統計的および計算上の問題である。 我々は、$Gr(n, n-beta)ハイパーグラフにおいて、植えた$Gr(ngamma, n-alpha)$ subhypergraphの存在を検出することを検討する。 平均値の減少に基づく硬さが不明な微妙な対数密度構造を考えると,この結果はグラフの場合$r=2$で既に新しくなっている。
  論文  参考訳（メタデータ） (2023-04-17T10:38:08Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。