論文の概要: TORQUE: Optimizing What (not) to Quantize Before and After Rotation

• arxiv url: http://arxiv.org/abs/2609.36032v1
• Date: Mon, 28 Sep 2026 18:04:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.924411
• Title: TORQUE: Optimizing What (not) to Quantize Before and After Rotation
• Title（参考訳）: TORQUE: 回転前後の量子化を最適化する
• Abstract要約: 本稿では,従来の量子化処理を改善するフレームワークであるTORQUEを紹介する。 大規模な入力座標を高精度に保存することは、全体的なエラーを減らすことができる。 量子化誤差の上界を導出し、トップ$k$プレローテーション保持が各$k$に対して最小化することを証明します。
• 参考スコア（独自算出の注目度）: 16.72193723958021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uniform random rotations are an effective preprocessing step for quantization: they make normalized coordinate distributions approximately Gaussian, enabling the use of codebooks optimized offline. We introduce TORQUE, a framework that improves on previous quantization works that use random rotations by jointly optimizing how many and which coordinates to preserve at high precision both before and after rotation, under a fixed overall expected bit budget. Intuitively, before rotation, preserving large input coordinates at high precision can reduce overall error by preventing the rotation from spreading their values across many coordinates. Likewise, after rotation, preserving a small fraction of the largest-magnitude coordinates at high precision allows the remaining values to be quantized more accurately using codebooks optimized offline for the resulting truncated Gaussian distribution. We derive a quantization error upper bound and prove that top-$k$ pre-rotation retention minimizes it for each $k$. This reduces the search over coordinate subsets to an optimization over $k$, enabling a fast optimizer that uses offline codebooks and parallel parameter selection for practical implementation. We demonstrate an improved tradeoff between reconstruction accuracy and storage cost through numerical evaluation under the Gaussian model and experiments on nearest-neighbor retrieval, KV-cache compression, and activation compression.
• Abstract（参考訳）: 均一なランダム回転は量子化のための効果的な前処理ステップであり、正規化された座標分布をガウシアンに近似し、最適化されたコードブックをオフラインで使用できるようにする。 本稿では,従来の量子化作業を改善するフレームワークであるTORQUEを紹介した。このフレームワークは,固定された全期待ビット予算の下で,回転前後の高精度に保持する座標数と座標数を共同最適化することにより,ランダムな回転を利用する。 直感的には、回転の前に大きな入力座標を高精度に保存することで、回転が多くの座標にわたってその値を広げることを防ぐことで全体の誤差を低減できる。 同様に、回転の後、高精度で最大緯度座標のごく一部を保存することで、残りの値をより正確に量子化することができる。 量子化誤差の上界を導出し、トップ$k$プレローテーション保持が各$k$に対して最小化することを証明します。 これにより、座標部分集合の探索を$k$以上の最適化に短縮し、オフラインのコードブックと並列パラメータの選択を実用的な実装に使用する高速なオプティマイザを実現する。 ガウスモデルに基づく数値評価と、最寄りの検索、KV-cache圧縮、アクティベーション圧縮実験により、復元精度と保存コストのトレードオフが改善されたことを示す。

関連論文リスト

• Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization [11.723535704837266]
  バックプロパゲーションが利用できないシナリオでは、ゼロオーダ(ZO)最適化が重要となる。 既存の方法は、サンプル非効率(例:標準有限差分)であるか、ランダム化推定による高い分散に悩まされている、という大きなトレードオフに直面している。 本研究では,CoCD(Coherent Coordinate Descent)を提案する。
  論文  参考訳（メタデータ） (2026-05-14T04:52:24Z)
• Bayesian Optimization with Gaussian Processes to Accelerate Stationary Point Searches [0.0]
  本稿では,最小化,単点サドル探索,ダブルエンドサドル探索を統一した6ステップサロゲートループによるベイズ最適化手法を提案する。 このフレームワークは、微分観測、逆距離カーネル、アクティブラーニングによるガウス過程の回帰を用いている。 Rustのコードは、すべてのアプリケーションが全く同じベイズ最適化ループを使用しており、理論的な定式化と実践的な実行のギャップを埋めていることを示している。
  論文  参考訳（メタデータ） (2026-03-11T17:20:28Z)
• Bilevel Learning via Inexact Stochastic Gradient Descent [5.312803257246881]
  バイレベル最適化は、高次元ハイパーチューニングのための機械学習の中心的なツールである。 両レベル最適化の不正確な理論を推し進める。 我々は収束を証明し、減衰精度とステップサイズスケジュールでレートを確立する。
  論文  参考訳（メタデータ） (2025-11-10T07:02:52Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• RAGO: Recurrent Graph Optimizer For Multiple Rotation Averaging [62.315673415889314]
  本稿では,複数回転平均化(MRA)のための深部繰り返し回転平均化グラフ(RAGO)を提案する。 我々のフレームワークは、実世界のアプリケーションに小さなサイズでデプロイされた、リアルタイムに学習から最適化するローテーション平均化グラフである。
  論文  参考訳（メタデータ） (2022-12-14T13:19:40Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
  QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。 平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。 BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T16:26:20Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Stochastic Coordinate Minimization with Progressive Precision for Stochastic Convex Optimization [16.0251555430107]
  凸最適化のための反復座標最小化(CM)に基づくフレームワークを開発した。 最適精度制御と結果の順序-最適後悔性能を確立する。 提案アルゴリズムは,大規模最適化のためのCMのスケーラビリティと並列性特性を継承し,オンライン実装に適したアルゴリズムである。
  論文  参考訳（メタデータ） (2020-03-11T18:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。