論文の概要: Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
- arxiv url: http://arxiv.org/abs/2609.31641v1
- Date: Fri, 11 Sep 2026 17:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 14:24:02.531939
- Title: Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
- Title（参考訳）: 量子行列乗算のための製品対応決定論的ラウンドリング
- Abstract要約: 積-OPTawareラウンドリングのスケール,クリッピングバウンド,グリッドについて検討し,各アクティブスカラーを隣り合うレベルから選択した。
動的アクティベーション・ラウンドリングでは、ヌル空間還元は緩和された積を保ちながら、少なくとも$r$の分数決定を残している。
再利用可能な静的重みについては、正確な積剰余測度は、固定出力バイアスの未集中入力第2モーメントである。
- 参考スコア（独自算出の注目度）: 0.14680035572775532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scalar rounding decisions interact through matrix multiplication. We study deterministic product-aware rounding after scales, clipping bounds, and grids are fixed, with each active scalar choosing between adjacent levels. For dynamic activation rounding, null-space reduction preserves the relaxed product while leaving at most $r$ fractional decisions, where $r$ is the rank of the active gap-weighted weight block. Conditional-expectation completion gives a deterministic polynomial-time algorithm with squared product error at most $ \mathrm{OPT}_{\mathrm{dyn}}+rν_{\max}^2/4$, where $\mathrm{OPT}_{\mathrm{dyn}}$ is the best admissible error and $ν_{\max}$ is the largest row norm of that block. For reusable static weights, the exact expected product-loss metric is the uncentered input second moment with fixed output bias; free bias recalibration yields the centered covariance. Exact optimization is NP-hard even at rank one. In balanced blocks with $K=1024$ and $r=16$, conditional- expectation completion attains a dither-normalized median error of $0.010$, compared with $0.899$ for round-to-nearest. Clipping-aware initialization reduces median normalized error by a factor of $43.4$ at ten-percent clipping. Held-out Digits experiments show that retaining the input mean or correcting the output bias improves median product error over round-to-nearest in all four tested bit-width and calibration-size settings.
- Abstract（参考訳）: スケーラブルなラウンドリング決定は、行列乗算を通じて相互作用する。
本研究は, スケール, クリッピング境界, グリッドが固定された後の決定論的製品認識ラウンドリングについて検討し, それぞれの活性スカラーが隣接するレベルから選択されることを示した。
動的活性化ラウンドリングでは、ヌル空間還元は緩和された積を保ち、少なくとも$r$の分数決定を残し、r$は活性ギャップ重み付き重みブロックのランクである。
条件予想完備化は、最大で $ \mathrm{OPT}_{\mathrm{dyn}}+rν_{\max}^2/4$, ここで $\mathrm{OPT}_{\mathrm{dyn}}$ は最も許容可能なエラーであり、$ν_{\max}$ はそのブロックの最大の行ノルムである。
再利用可能な静的ウェイトに対して、正確な積剰余測度は、固定された出力バイアスを持つ未集中入力第2モーメントである。
厳密な最適化は、ランク1でもNPハードである。
K=1024$と$r=16$のバランスの取れたブロックでは、条件付き予測完了はディザ正規化中央値エラーが0.010$に達し、ラウンド・トゥ・アネレストの場合は0.899$となる。
クリッピング対応初期化は、中央値の正規化誤差を10パーセントのクリッピングで43.4ドルに削減する。
Digits実験では、入力平均の保持や出力バイアスの補正は、テストされた4つのビット幅およびキャリブレーションサイズ設定すべてにおいて、ラウンド・トゥ・アネレストよりも中央値の製品誤差を改善する。
関連論文リスト
- Geometry-Dependent Bounds for Online Non-Monotone DR-Submodular Maximization [55.29259818039367]
凸閉集合上の逆オンライン非負の非単調DR-部分モジュラ函数について検討する。
学習者は、目的を観察する前に各アクションを学習し、後から最高の固定アクションと競合する。
定数対物列は、最適に多くの1次クエリでオフラインの$(4/9-varepsilon)$近似を生成する。
論文 参考訳（メタデータ） (2026-09-30T18:26:29Z) - Convex Optimization Is Free When Accuracy Is Expensive [18.56538898519597]
我々は、勾配を正確に評価できないときに凸最適化を研究するが、精度$$$で$-$のように計算が成長するアルゴリズムの階層によってのみ近似される。
損失関数の最小化に要するコストは,問題要求の精度での勾配の1つの評価よりも,$のみに依存する。
論文 参考訳（メタデータ） (2026-09-28T15:30:18Z) - A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
論文 参考訳（メタデータ） (2026-09-16T15:03:46Z) - EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。
有限人口推定器の誤差を解析する。
退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
論文 参考訳（メタデータ） (2026-09-10T01:58:02Z) - A Nuclear-Norm Lower Bound for Dithered Scalar Quantization of Matrix Products [0.14680035572775532]
量子化行列乗算における誤差を最小化する問題を$C=AB$とする。
C$を変更せずに、ファクタ範囲やグリッドステップを変更する製品保存変換を最適化します。
2ドルの電力の場合、条件付き期待値は決定論的に$O((m+n))$正実演算でアダマール符号を選択する。
論文 参考訳（メタデータ） (2026-09-04T18:22:01Z) - Exact Minimax One-Bit Unbiased Compression: Heavy-Tail Necessity and Finite-Randomness Approximation [7.764443932311498]
ポイントワイズな1ビット圧縮機は、1ビットを送信しながら期待する全ての実際の入力を再構成する。
我々は、$mathbb R$でバイアスのないすべての公開コイン1ビット符号に対して、ソース平均再構成の2番目のモーメントが$m2+mathcal J(P)2$であることを証明する。
論文 参考訳（メタデータ） (2026-08-20T07:29:09Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳（メタデータ） (2022-05-23T17:59:18Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Maximizing Determinants under Matroid Constraints [69.25768526213689]
我々は、$det(sum_i in Sv_i v_i v_itop)$が最大になるような基底を$S$$$$M$とする問題を研究する。
この問題は、実験的なデザイン、商品の公平な割り当て、ネットワーク設計、機械学習など、さまざまな分野に現れている。
論文 参考訳（メタデータ） (2020-04-16T19:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。