論文の概要: When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation
- arxiv url: http://arxiv.org/abs/2608.13365v1
- Date: Thu, 13 Aug 2026 15:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.578625
- Title: When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation
- Title（参考訳）: 局所変数最適化が不十分な場合:動的4ビット量子化のためのRoPE対応Q/Kローテーション
- Abstract要約: RoPEは、各ヘッドを2次元の周波数対に分割し、この分解を尊重する変換がフルヘッド混合において改善できるかどうかを疑問視する。
我々は、プール化共分散、位置平均サロゲートの下で、より大きなチャネル分散を最小化する回転角を導出する。
4つのチェックポイントにまたがって、フルヘッドのアダマールをこの構成に置き換えることで、短いコンテキスト長と長いコンテキスト長の両方で難易度が増大する。
- 参考スコア（独自算出の注目度）: 22.344331432749016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rotation-based post-training quantisation commonly applies an orthogonal transform across an entire attention head to reduce outlier-induced error. RoPE instead partitions each head into two-dimensional frequency pairs, raising the question of whether a transform respecting this decomposition can improve on full-head mixing. Prior work has established the per-pair rotations that commute with RoPE. We state the converse result that, for distinct frequencies, no other single-head orthogonal map commutes with RoPE. For the head-shared parameterisation used in our experiments, we then derive the rotation angle that minimises the larger channel variance under a pooled-covariance, position-averaged surrogate and verify that the implementation attains its analytic minimum. The evaluated head-shared pairwise configuration does not improve accuracy in the tested dynamic W4A4KV4 setting. Across four checkpoints, replacing the full-head Hadamard with this configuration increases perplexity at both short and long context lengths. Composing the pairwise rotation with the Hadamard satisfies the selected $\pm0.05$-PPL interval criterion under the default estimator. Estimating the shared angle from K alone improves pairwise-only on every checkpoint but does not close its gap to full-head mixing. The analytic objective controls a position-averaged second moment of a pooled calibration covariance, whereas the dynamic quantiser sets its step from a tokenwise group range. The pairwise transform also has only two-channel mixing support. Along a controlled interpolation from two-channel to full-head mixing, K range, relative quantisation error, and perplexity degradation decrease as support increases. These results show that optimality for a structured surrogate need not reduce quantisation error when the surrogate and mixing support are misaligned with the quantiser's scale-setting statistic.
- Abstract（参考訳）: 回転に基づくポストトレーニング量子化は、一般的に、アテンションヘッド全体にわたって直交変換を適用して、アウトリア誘起誤差を低減する。
代わりに、RoPEは各ヘッドを2次元の周波数対に分割し、この分解を尊重する変換がフルヘッド混合を改善するかどうかを疑問視する。
以前の研究は、RoPEと通勤するペア当たりの回転を確立した。
逆の結果は、異なる周波数に対して、他の単頭直交写像がRoPEと通勤することはないことを述べる。
実験で用いた頭部偏光パラメタライゼーションでは, プールド共分散, 位置平均サロゲートの下で大きなチャネル分散を最小化する回転角を導出し, 実装が解析的最小値に達することを検証する。
評価されたヘッドシェアペア構成は、テストされた動的W4A4KV4設定の精度を向上しない。
4つのチェックポイントにまたがって、フルヘッドのアダマールをこの構成に置き換えることで、短いコンテキスト長と長いコンテキスト長の両方で難易度が増大する。
アダマールの対回転は、デフォルト推定器の下で選択された$\pm0.05$-PPL間隔基準を満たす。
K 単独での共有角度の推定は、チェックポイント毎にペアワイズのみを改善するが、全頭部混合とのギャップを埋めることはない。
解析目的は、プール化されたキャリブレーション共分散の位置平均2番目のモーメントを制御し、一方、動的量子化器はそのステップをトークンワイドなグループ範囲から設定する。
ペアワイズ変換はまた、2チャネル混合サポートのみを有する。
2チャネルから全ヘッド混合までの制御された補間に沿って、K範囲、相対量子化誤差、およびパープレキシティ劣化は、支持が増加するにつれて減少する。
これらの結果から,構成されたサロゲートの最適性は,サロゲートとミキシングサポートが量子化器のスケールセット統計と不一致である場合に,量子化誤差を減少させる必要はないことが示唆された。
関連論文リスト
- Toward Fault-Tolerant Variational Optimization: QAOA under [[4,2,2]] Error Detection [0.0]
QAOAのフォールトトレラントな実装を$[[4,2,2]$エラー検出コードに基づいて提案する。
我々の主な貢献は、新しいアンシラによる論理的な$R_ZZ$ゲートであり、異なる$[4,2,2]$ブロックにおけるクォービット間の相互作用を可能にする。
論文 参考訳（メタデータ） (2026-09-07T14:20:42Z) - Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization [15.2286904549704]
二重アンカー機構,すなわち二重アンカー機構が,そのようなエラーの蓄積を伴わずに反復設定にまで拡張されていることを示す。
強い単調作用素の場合、同じアルゴリズムはよりシャープな複雑さを達成し、$$-dependenceという観点で下界とほぼ一致する。
論文 参考訳（メタデータ） (2026-08-12T13:25:55Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling [7.035974899001363]
我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。
一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
論文 参考訳（メタデータ） (2026-06-01T05:36:26Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
両問題に同時に対処する2ビット共分散行列推定器を提案する。
エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。
提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
論文 参考訳（メタデータ） (2023-08-30T14:31:24Z) - Globally Optimal Multi-Scale Monocular Hand-Eye Calibration Using Dual
Quaternions [9.287964414592826]
本稿では,2重四元数に基づくセンサごとの自我運動からモノクルハンドアイキャリブレーションのアプローチを提案する。
本アルゴリズムは,シミュレーションおよび実世界のデータに対する最先端の手法と比較して評価・比較する。
論文 参考訳（メタデータ） (2022-01-12T13:48:04Z) - Direct Measure Matching for Crowd Counting [59.66286603624411]
そこで本研究では,予測密度マップを散乱点付基底真理に直接回帰する測度に基づく新しい計数手法を提案する。
本稿では, シンクホーンの測位損失を計測するために設計した, 半平衡型のシンクホーン発散を導出する。
論文 参考訳（メタデータ） (2021-07-04T06:37:33Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Learning High-Precision Bounding Box for Rotated Object Detection via
Kullback-Leibler Divergence [100.6913091147422]
既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。
本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
論文 参考訳（メタデータ） (2021-06-03T14:29:19Z) - Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。
平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。
BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
論文 参考訳（メタデータ） (2021-03-02T16:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。