論文の概要: BaKron: Efficient Quantization with Kronecker-Factored Hessians
- arxiv url: http://arxiv.org/abs/2608.06291v1
- Date: Thu, 06 Aug 2026 17:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.974698
- Title: BaKron: Efficient Quantization with Kronecker-Factored Hessians
- Title（参考訳）: BaKron: Kronecker-Factored Hessianによる効率的な量子化
- Abstract要約: GPTQ方式の適応ラウンドリングでは、入力アクティベーションから得られる一方的な情報を使用するのが一般的である。
Kronecker-factored Hessian近似は出力座標間の相関を加味することができるが、ベクトル化重み領域に直接GPTQを適用するのは計算コストがかかる。
BaKronは、反対角平行性と再帰的な分割・対数構成を組み合わせた効率的な解法である。
- 参考スコア（独自算出の注目度）: 1.2604738912025473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We accelerate a family of algorithms for neural network quantization whose geometry is informed by any Kronecker-factored approximation of the Hessian. GPTQ-style adaptive rounding typically uses one-sided information derived from input activations. Two-sided Kronecker-factored Hessian approximations can additionally capture correlations across output coordinates, but applying GPTQ directly in the vectorized weight domain is computationally expensive. Building on the two-sided adaptive-rounding formulation used by BoA and YAQA, we introduce BaKron, an efficient solver that combines anti-diagonal parallelism with a recursive divide-and-conquer construction. For an $m\times n$ weight matrix, BaKron uses $O(m+n)$ sequential steps while reducing the total work from $O(m^2n^2)$ to $O(mn(m+n))$. Thus, it matches the cubic scaling of GPTQ while exploiting richer curvature information. Moreover, BaKron is modular with respect to both the base quantizer and the Hessian estimator. We also provide practical benchmarks, consider a range of Hessians that BaKron can be called with, find an efficient technique to compute these Hessians, and evaluate the algorithm experimentally.
- Abstract（参考訳）: 我々は,Kronecker による Hessian の近似によって幾何が通知されるニューラルネットワーク量子化アルゴリズムのファミリを加速する。
GPTQ方式の適応ラウンドリングでは、入力アクティベーションから得られる一方的な情報を使用するのが一般的である。
Kronecker-factored Hessian近似は出力座標間の相関を加味することができるが、ベクトル化重み領域に直接GPTQを適用するのは計算コストがかかる。
本稿では,BoA と YAQA が用いた2面適応円周型定式化に基づいて,反対角並列性と再帰的な分割・対数構成を組み合わせた効率的な解法 BaKron を導入する。
重量行列が$m\times n$ の場合、BaKron は$O(m+n)$ シーケンシャルステップを使用し、総作業量は$O(m^2n^2)$ から$O(mn(m+n))$ に減少する。
したがって、よりリッチな曲率情報を活用しながら、GPTQの立方体スケーリングと一致する。
さらに、BaKronは基底量子化器とヘッセン推定器の両方に関してモジュラーである。
また、実用的なベンチマークや、BaKronが呼び出すことのできるヘシアンの範囲の検討、これらのヘシアンを効率的に計算する手法の発見、アルゴリズムの実験的評価も行う。
関連論文リスト
- Efficient Depth--Ancilla Tradeoffs for Hamming Weight Computation and Symmetric Boolean Functions [8.46046792536661]
ハミングウェイトは、その量に$n$-bitの入力をマッピングする。
対称ブール関数は量子コンピューティングにおいて最も一般的なプリミティブの一つである。
両問題の効率的な回路は多くの量子アルゴリズムの効率にとって重要である。
論文 参考訳（メタデータ） (2026-08-05T09:42:03Z) - Two-Tower Quantum Matrix Chain Multiplication: Trading Qubits for Depth [73.08853228981701]
行列連鎖乗法は、科学計算、機械学習、グラフ解析における問題である。
我々は、$K$行列の$mathcalW$を回路深さの量子状態にエンコードする量子サブルーチンであるemphTwo-Tower Matrixを提案する。
論文 参考訳（メタデータ） (2026-07-14T18:42:40Z) - Efficient Mean Curvature Computation on High-Dimensional Data Manifolds [52.452902154360565]
高次元データセットの各点における局所的な平均曲率の推定は、機械学習アルゴリズムの重要な要素である。
本稿では,このコストを桁違いに削減する2つの補完的貢献を紹介する。
実世界のデータセットの実験では、オリジナルの実装と比較して50倍から300倍のスピードアップが確認されている。
論文 参考訳（メタデータ） (2026-06-04T16:04:31Z) - Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。
我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
論文 参考訳（メタデータ） (2026-03-20T01:53:44Z) - Block encoding of sparse matrices with a periodic diagonal structure [67.45502291821956]
周期的な対角構造を持つスパース行列を符号化するための明示的な量子回路を提供する。
本手法の様々な応用は, 微分問題を解く文脈で論じる。
論文 参考訳（メタデータ） (2026-02-11T07:24:33Z) - Quantum encoder for fixed Hamming-weight subspaces [0.0]
固定ハミング重み$k$の部分空間に$d=binomnk$valuedの実データベクトルまたは複素データベクトルの正確な$n$-qubit計算基底振幅エンコーダを提示する。
本稿では,粒子弦対称性を含む問題に対する変分量子アルゴリズムの性能向上について述べる。
本研究は,量子化学,量子機械学習,制約付き$k$最適化などの分野に応用可能な量子データ圧縮のための汎用的なフレームワークを構成する。
論文 参考訳（メタデータ） (2024-05-30T18:26:41Z) - Automatic and effective discovery of quantum kernels [41.61572387137452]
量子コンピューティングは、カーネルマシンが量子カーネルを利用してデータ間の類似度を表現できるようにすることで、機械学習モデルを強化することができる。
本稿では,ニューラルアーキテクチャ検索やAutoMLと同じような最適化手法を用いて,この問題に対するアプローチを提案する。
その結果、高エネルギー物理問題に対する我々のアプローチを検証した結果、最良のシナリオでは、手動設計のアプローチに関して、テストの精度を一致または改善できることが示された。
論文 参考訳（メタデータ） (2022-09-22T16:42:14Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳（メタデータ） (2022-05-23T17:59:18Z) - Quantum circuit compilation and hybrid computation using Pauli-based
computation [0.0]
パウリベースの計算(PBC)は、パウリ可観測物の適応的に選択された非破壊的な測定シーケンスによって駆動される。
本稿では,PBCを適応量子回路として実装する実用的な方法を提案する。
論文 参考訳（メタデータ） (2022-03-03T16:01:55Z) - Fermionic partial tomography via classical shadows [0.0]
そこで本研究では,n$モードフェルミオン状態の密度行列(k$-RDM)を推定するためのトモグラフィープロトコルを提案する。
量子状態特性の集合をランダムに学習する手法である古典的影の枠組みをフェルミオン設定に拡張する。
論文 参考訳（メタデータ） (2020-10-30T06:28:26Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。