論文の概要: Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms

• arxiv url: http://arxiv.org/abs/2606.00289v1
• Date: Fri, 29 May 2026 19:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.257095
• Title: Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
• Title（参考訳）: 内部製品に対する量子化 - おそらく高速で正確で適応的なアルゴリズム
• Abstract要約: ベクトル量子化の下流の多くの応用は任意の入力を持つ内部積を実行する。 これは内積認識量子化スキームの研究を動機付けている。 目的を達成するために、証明可能な高速な精度と近似アルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 0.49109372384514843
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Quantization is a fundamental tool used to compress datasets, neural network weights, and memory usage in a range of computational tasks. Many downstream applications of vector quantization perform inner products with arbitrary inputs. This motivates the study of inner product aware quantization schemes that approximately preserve inner products with unseen vectors -- in contrast to simply minimizing the mean-squared error. In this work, we formulate objectives that capture natural desiderata and develop adaptive and unbiased quantization methods that approximately preserve inner products with worst-case and average-case inputs. An analysis of these objectives shows a tight connection with the well-studied notion of Adaptive Stochastic Quantization (ASQ). We develop provably fast exact and approximate algorithms for our objectives. Our theoretical results inspire efficient practical algorithms that perform well across a variety of workload distributions. They also lead to practical algorithms for standard ASQ which are 2-10$\times$ faster than prior state-of-the-art methods while maintaining quality. These theoretical and empirical results contribute towards making adaptive quantization techniques more efficient and tractable in practical settings.
• Abstract（参考訳）: 量子化は、さまざまな計算タスクでデータセット、ニューラルネットワークウェイト、メモリ使用量の圧縮に使用される基本的なツールである。 ベクトル量子化の下流の多くの応用は任意の入力を持つ内部積を実行する。 このことは、平均二乗誤差を最小化するのとは対照的に、内積を不明瞭なベクトルでほぼ保存する内積認識量子化スキームの研究を動機付けている。 本研究では,自然デシデラタを捕集する目的を定式化し,最悪のケースと平均ケースの入力で内積をほぼ保存する適応的・非偏化量子化法を開発した。 これらの目的の分析は、よく研究されたAdaptive Stochastic Quantization (ASQ) の概念と密接な関係を示している。 目的を達成するために、証明可能な高速な精度と近似アルゴリズムを開発する。 我々の理論的結果は、様々なワークロード分布でよく機能する効率的な実用的なアルゴリズムを刺激する。 また、品質を維持しながら従来の最先端の手法よりも2-10$\times$高速な標準ASQの実用的なアルゴリズムも実現している。 これらの理論的および実証的な結果は、実用的な環境で適応的な量子化技術をより効率的かつ魅力的にすることに貢献している。

関連論文リスト

• Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss [0.0]
  適応的 NTK 重みによる勾配勾配の上昇は,適切な意味で収束することを示す。 次に,予測器-相関器アプローチと行列スケッチに着想を得たランダム化アルゴリズムを開発することにより,計算効率の問題に対処する。
  論文  参考訳（メタデータ） (2025-11-19T15:29:42Z)
• Optimal and Near-Optimal Adaptive Vector Quantization [15.221460131211684]
  量子化は、圧縮、モデルウェイトとアクティベーション、データセットを含む多くの機械学習ユースケースの基本的な最適化である。 本稿では,適応ベクトル量子化(AVQ)問題を再検討し,時間と空間の複雑さを改善した最適解を求めるアルゴリズムを提案する。 我々のアルゴリズムは、さまざまな機械学習アプリケーションでより広範囲にAVQを使用するための扉を開く可能性がある。
  論文  参考訳（メタデータ） (2024-02-05T16:27:59Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• Adaptive Experimentation at Scale: A Computational Framework for Flexible Batches [7.390918770007728]
  結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。 我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
  論文  参考訳（メタデータ） (2023-03-21T04:17:03Z)
• Automatic and effective discovery of quantum kernels [41.61572387137452]
  量子コンピューティングは、カーネルマシンが量子カーネルを利用してデータ間の類似度を表現できるようにすることで、機械学習モデルを強化することができる。 本稿では,ニューラルアーキテクチャ検索やAutoMLと同じような最適化手法を用いて,この問題に対するアプローチを提案する。 その結果、高エネルギー物理問題に対する我々のアプローチを検証した結果、最良のシナリオでは、手動設計のアプローチに関して、テストの精度を一致または改善できることが示された。
  論文  参考訳（メタデータ） (2022-09-22T16:42:14Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Learning to Actively Learn: A Robust Approach [14.46867518436922]
  本研究では,アクティブラーニングや純粋探索型マルチアームバンディットといった適応データ収集タスクのアルゴリズム設計手法を提案する。 我々の適応アルゴリズムは、情報理論の下界から導かれる問題の同値クラスに対する逆学習によって学習される。 我々は,訓練手順の安定性と有効性を正当化するための合成実験を行い,実データから導出される課題について評価する。
  論文  参考訳（メタデータ） (2020-10-29T06:48:22Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。