論文の概要: Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

• arxiv url: http://arxiv.org/abs/2607.18745v1
• Date: Tue, 21 Jul 2026 06:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.322429
• Title: Contraction-Gauge Preconditioning for Quantized Matrix Multiplication
• Title（参考訳）: 量子化行列乗算のための収縮ゲージ前処理
• Abstract要約: 両因子を定量化したC=ABの低精度計算について検討した。 期待される2乗積誤差に対して、正確な有限次元の恒等式を導出する。 決定論的ラウンド・トゥ・アレスト誤差を実験的に評価した。
• 参考スコア（独自算出の注目度）: 0.14680035572775532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study low-precision computation of C=AB with both factors quantized. We derive an exact finite-dimensional identity for the expected squared product error under independent, zero-mean entrywise errors with known variance fields; it holds exactly for non-overloading subtractive dither and for independent stochastic rounding, and we empirically assess deterministic round-to-nearest (RTN). Using the product-preserving equivalence AB=(AT)(T^{-1}B), we formulate contraction-gauge preconditioning: jointly choosing a factor representation and its sharing pattern before quantization. Preconditioning can reduce product error but may require extra transformed, quantized copies of the opposite operand: a shared transform needs one copy, a block-specific transform up to one per block. Within the bounded family of positive diagonal gauges (folds), a geometric program computes a globally optimal shared fold and a linear program decides whether the identity fold is already optimal. For other families we derive computable selection statistics -- tail index for scaling, profile spread for partitioning, coherence and weighted-Gram energy for rotations, slice-energy covariance for hierarchy depth -- with upper bounds for ranking heuristic candidates. Across twelve linear products from a trained three-block image classifier, median within-product rank correlations between dither-model predictions and deterministic-RTN errors are 0.937 at 8 bits and 0.918 at 4 bits. The GP fold cuts held-out product error over the identity fold by 18.0% (8-bit) and 20.5% (4-bit) in geometric mean, beats a SmoothQuant-style grid baseline at both precisions and on ten of twelve products, and lowers composed logit MSE by 15.4% and 26.4%. We thus provide exact stochastic product-error accounting, certified selection within the diagonal family, and a common objective for evaluating reusable transform candidates under RTN.
• Abstract（参考訳）: 両因子を定量化したC=ABの低精度計算について検討した。 独立な非重み付き減算ディザ(英語版)と独立確率的ラウンドリング(英語版)(英語版)(RTN)を正確に定義し、決定論的ラウンド・トゥ・アレスト(英語版) (RTN) を経験的に評価する。 積保存同値 AB=(AT)(T^{-1}B) を用いて、量子化の前に因子表現とその共有パターンを共同で選択する収縮ゲージ事前条件を定式化する。 プレコンディショニングは製品エラーを減らすことができるが、反対のオペランドの余分に変換された量子化されたコピーを必要とすることがある。 正の対角ゲージ(折り目)の有界族の中で、幾何学的プログラムは、大域的に最適な共有折り目を計算するとともに、線形プログラムは、アイデンティティ折り目が既に最適かどうかを決定する。 他の家族では、計算可能な選択統計(スケーリングのためのテールインデックス、パーティショニングのためのプロファイルスプレッド、コヒーレンス、回転のための重み付きグラムエネルギー、階層の深さに対するスライスエネルギーの共分散)を導きます。 トレーニングされた3ブロック画像分類器から得られた12個の線形積のうち、ディザモデル予測と決定論的RTN誤差の中央値内ランク相関は8ビットで0.937、4ビットで0.918である。 GP折り畳みは、形状平均で18.0%(8ビット)と20.5%(4ビット)のアイデンティティ上の保留積誤差を削減し、SmoothQuantスタイルのグリッドベースラインを精度および12製品中10製品で打ち負かし、ログトMSEを15.4%と26.4%に下げる。 そこで我々は,厳密な確率的製品エラー会計,対角線内の認証選択,RTNによる再利用可能なトランスフォーメーション候補の評価の共通目的を提供する。

関連論文リスト

• Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
  マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。 モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T12:23:57Z)
• Equivariant Covariance Tensors: Guaranteed SPD Uncertainty for Tensor-Valued Geometric Learning [5.837391281655422]
  対象が6つのケルビン-マンデル座標を持ち、完全不確実性は6Times6$共分散行列で表される対称ランク2テンソル予測に焦点を当てる。 平均と共分散の両方が回転対称性を保った完全な予測分布をモデル化し、E(3)-同変UQの枠組みを導入する。 提案手法は, 競合性能を達成し, 有効リスクとOOD感度を有する物理的に一貫した対称性を保った不確実性推定値を提供する。
  論文  参考訳（メタデータ） (2026-08-25T10:46:47Z)
• Geometry-Calibrated Closed-Form Shrinkage for SAR Despeckling [0.7782912896579166]
  合成開口レーダ(SAR: Synthetic Aperture radar)は、乗法的非ガウス雑音を抑えなければならない逆回復問題である。 我々は、ログ-ヨ-ジョンソン変換を適用した非局所スパース推定器を再検討し、類似したパッチをグループに積み重ね、各群をその左特異点ベースでコード化し、その結果の係数を縮小する。
  論文  参考訳（メタデータ） (2026-08-15T04:28:27Z)
• Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering [0.7614628596146601]
  等しい全質量の任意の正の行辺に対して、合同KL射影はちょうど$r-1の有効変数のみを持つ厳密な凸ゲージ固定双対に還元される。 この幾何学を専門とし、$W=UnameDiag(g)-1Vtop$で2倍グラフ学習を誘導する。 観察されたスパースフィッティング、アンカーエッジ多様体正規化器、ブレグマンのバックトラックと組み合わせることで、ミラー・ディフレッシュ法は受け入れられたステップごとに正確な実現可能性を維持する。
  論文  参考訳（メタデータ） (2026-08-09T11:29:05Z)
• Formulation-Level Auto-Tuning for QUBO-Based Machine Learning: A Case Study Across Multiple Quantum-Inspired Annealers [0.0]
  本稿では,サポートベクトルマシン(SVM)のためのOptunaベースの定式化レベル自動チューニングフレームワークを提案する。 連続双対変数は離散化され、2次非制約バイナリ最適化(QUBO)モデルに変換される。 0-20%のラベルノイズを持つ線形および非線形分類タスクの実験では, それぞれ0.8点と2.1点のグリッド探索よりも平均的なゲインが得られた。
  論文  参考訳（メタデータ） (2026-07-21T06:56:43Z)
• Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression [0.0]
  クローズドな形での最適解法は、徹底的な探索が到達した精度を計算のごく一部で解くことができる。 KOREは2つのパイロット解像度に適合し、バイアスとノイズスケールのレバレッジ校正された2x2システムを解く。
  論文  参考訳（メタデータ） (2026-06-22T16:41:10Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
  部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。 本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。 2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection [11.490578151974285]
  本稿では,デバイアス付きラッソ係数を更新するための近似式を提案する。 応用として、近似式により、変数選択アルゴリズムの複雑さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-05-05T22:05:02Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data [0.0]
  大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。 行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-22T02:38:16Z)
• Debiasing Distributed Second Order Optimization with Surrogate Sketching and Scaled Regularization [101.5159744660701]
  分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。 本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-02T18:08:14Z)
• Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
  本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。 RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
  論文  参考訳（メタデータ） (2020-03-04T02:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。