論文の概要: Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition

• arxiv url: http://arxiv.org/abs/2603.19559v1
• Date: Fri, 20 Mar 2026 01:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.936728
• Title: Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition
• Title（参考訳）: 行列乗算のための最適スカラー量子化:閉形式密度と相転移
• Abstract要約: 乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
• 参考スコア（独自算出の注目度）: 50.36362492608702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study entrywise scalar quantization of two matrices prior to multiplication. Given $A\in R^{m\times k}$ and $B\in R^{k\times n}$, we quantize entries of $A$ and $B$ independently using scalar quantizers with $K_X$ and $K_Y$ levels per entry, and form $\widehat C=\widehat A\,\widehat B$. The objective is to minimize the matrix multiplication mean-squared error (MSE) $E[\|{AB-\widehat A\widehat B}\|_F^2]$ under a pair-i.i.d.\ inner-product model. In the high-resolution regime $K_X,K_Y\to\infty$, we derive a sharp $K^{-2}$ asymptotic expansion for $\mathcal{E}$, identify the exact optimal leading constants, and characterize asymptotically optimal quantization center densities in terms of conditional second moments. We then specialize to correlated Gaussian multiplicative pairs, obtaining a closed-form optimal point density \[ λ^\star(u)\ \propto\ \exp\!\left(-\frac{u^2}{6}\right)\bigl((1-ρ^2)+ρ^2u^2\bigr)^{1/3}, \qquad u=\frac{x}{σ_X}, \] with the same form for $y/σ_Y$, and prove a correlation-driven phase transition: the density is unimodal at the origin for $|ρ|\leq 1/\sqrt{3}$ and becomes bimodal for $|ρ|>1/\sqrt{3}$ with peaks at $u_{\mathrm{peak}}=\pm\sqrt{3-1/ρ^2}$. We show our method's applicability in synthetic experiments such as matrix multiplication quantization and least squares optimization, as well as quantization of large language model key and query activations.
• Abstract（参考訳）: 乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 A\in R^{m\times k}$ と $B\in R^{k\times n}$ が与えられたとき、$A$ と $B$ のエントリを、$K_X$ と $K_Y$ のスカラー量子化器で独立に量子化し、$\widehat C=\widehat A\,\widehat B$ を形成する。 目的は、行列乗算平均二乗誤差 (MSE) $E[\|{AB-\widehat A\widehat B}\|_F^2]$ をペア i.d.\内積モデルの下で最小化することである。 高分解能規則 $K_X,K_Y\to\infty$ では、$\mathcal{E}$ に対する急激な $K^{-2}$ の漸近展開を導出し、正確な最適リード定数を同定し、条件第二モーメントの観点から漸近的に最適な量子化中心密度を特徴づける。 次に、相関ガウス乗法対に特化し、閉形式最適点密度 \[ λ^\star(u)\ \propto\ \exp\! \left(-\frac{u^2}{6}\right)\bigl((1-ρ^2)+ρ^2u^2\bigr)^{1/3}, \qquad u=\frac{x}{σ_X}, \] と同じ形式を$y/σ_Y$ で証明し、相関駆動の位相遷移を証明: 密度は、原点が $|ρ|\leq 1/\sqrt{3}$ で非モダルであり、 $u_{\mathrm{peak}}=\pm\sqrt{3-1/ρ^2}$ でピークとなる。 本稿では,行列乗算量子化や最小二乗最適化,大規模言語モデルキーの量子化,クエリアクティベーションなどの合成実験における本手法の適用性を示す。

関連論文リスト

• Quantum analog-encoding for correlated Gaussian vectors and their exponentiation with application to rough volatility [0.0]
  正規化されたガウス確率ベクトルの正確なシミュレーションのための量子アルゴリズムを提案する。 ファイナンシャル・アプリケーションによって動機付けられ、エンド・ツー・エンドのリソース分析を提供する。
  論文  参考訳（メタデータ） (2026-04-24T11:29:09Z)
• Sublinear Time Quantum Algorithm for Attention Approximation [13.665266438908533]
  本稿では,$mathrmAtt(Q, K, V)$の任意の行を,Q, K, V$への行クエリのみを用いて近似する量子データ構造を提案する。 我々のアルゴリズムはこれらの行列を$widetildeOleft( -1 n0.5 left( s_2.5 + s_1.5 d + 0.5 d right)$ timeで前処理する。
  論文  参考訳（メタデータ） (2026-01-31T19:33:52Z)
• The Algorithmic Phase Transition in Symmetric Correlated Spiked Wigner Model [0.0]
  本研究では,一対のスパイクされたウィグナー行列における相関信号の検出と推定の計算タスクについて検討する。 アルゴリズムはスパイク間の相関を利用して、$X$から$x$を効率よく回収するか、$Y$から$y$を効率よく回収するかのどちらかが計算不可能な状態であっても信号を検出して推定することができる。
  論文  参考訳（メタデータ） (2025-11-08T15:23:44Z)
• Log-concave Sampling from a Convex Body with a Barrier: a Robust and Unified Dikin Walk [12.842909157175582]
  我々は、$d$-dimensional log-concave distribution $pi(theta) propto exp(-f(theta))$ for $L$-Lipschitz $f$を考える。 本稿では,各繰り返しにおける障壁関数のヘシアンに対するスペクトル近似を計算するインプロバストサンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:32:51Z)
• Quantum Channel Learning [0.0]
  $mathcalU$fidelity 上の二次構造は、$sqrtrho(l) to sqrtvarrho(l)$ mapping および量子チャネル上で構成できることが示されている。 この手法は量子逆問題、変分量子アルゴリズム、量子トモグラフィなどの研究に応用できる。
  論文  参考訳（メタデータ） (2024-07-05T10:43:24Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Oblivious Stochastic Composite Optimization [47.48197617884748]
  我々のアルゴリズムは問題のパラメータに関する事前の知識なしで収束することを示す。 3つのアルゴリズムは全て、実現可能な集合の直径、リプシッツ定数、あるいは目的関数の滑らかさについて事前の知識なしに機能する。 我々は,フレームワークを比較的大規模に拡張し,大規模半確定プログラム上での手法の効率性と堅牢性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T08:34:29Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• SDP Achieves Exact Minimax Optimality in Phase Synchronization [19.909352968029584]
  我々は、ノイズ測定$Y=z*z*+sigma WinmathbbCntimes ntimes nで位相同期問題を研究する。 SDPが誤差境界$ (1+o)fracnp22np$を2乗の$ell$損失で達成することを証明する。
  論文  参考訳（メタデータ） (2021-01-07T03:14:05Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。