論文の概要: Fast Quantized Johnson$-$Lindenstrauss Transforms

• arxiv url: http://arxiv.org/abs/2610.16289v1
• Date: Mon, 12 Oct 2026 07:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:41:00.481535
• Title: Fast Quantized Johnson$-$Lindenstrauss Transforms
• Title（参考訳）: 高速量子化Johnson$-$Lindenstrauss変換
• Abstract要約: ランダム化されたアダマール変換の合成に基づく2つの構成を導入する。 第1は量子化器を滑らかにするためにガウスディザリングを追加し、第2は共分散構造を正規化するためにランダムな置換を挿入する。 非量子化環境では、Fast JLと類似した埋め込み次元と実行時保証が証明される。
• 参考スコア（独自算出の注目度）: 1.6533488702786663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization has emerged as one of the primary techniques for reducing the memory footprint of large language models during inference. A prominent example is Quantized Johnson$-$Lindenstrauss (QJL), which compresses KV caches using 1-bit asymmetric quantization while approximately preserving the inner products required by the attention mechanism. Recent theoretical and practical work aims at replacing the dense Gaussian projections used by the aforementioned transforms with more structured embeddings $-$ such as compositions of randomized Hadamard transforms $-$ while retaining the same embedding dimension. In this paper, we introduce two constructions based on a composition of randomized Hadamard transforms, albeit with a Gaussian rather than Rademacher diagonal in the second stage. The first adds Gaussian dithering to smooth the quantizer, while the second inserts a random permutation to regularize the covariance structure of the resulting Gaussian measurements. We prove embedding-dimension and running-time guarantees analogous to those of Fast JL in the non-quantized setting. The first construction achieves $m=O(\varepsilon^{-2}\log^2(d/δ))$, while the second achieves $m=O(\varepsilon^{-2}\log(d/δ))$ under a restriction on $m$. Both constructions can be applied in $O(d\log d)$ time.
• Abstract（参考訳）: 量子化は、推論中に大きな言語モデルのメモリフットプリントを減らす主要な手法の1つである。 顕著な例としてQuantized Johnson$-$Lindenstrauss (QJL) があり、1ビットの非対称量子化を用いてKVキャッシュを圧縮し、注意機構が必要とする内部積を概ね保存する。 最近の理論的および実践的な研究は、上記の変換によって使われる密度の強いガウス射影を、同じ埋め込み次元を維持しながらランダム化されたアダマール変換の合成のようなより構造化された埋め込みに$-$で置き換えることを目的としている。 本稿では,2段目のラデマチャー対角線ではなくガウス変換を用いて,ランダム化されたアダマール変換の合成に基づく2つの構成を導入する。 第1は量子化器を滑らかにするためにガウスディザリングを追加し、第2はランダムな置換を挿入して結果のガウス測度の共分散構造を規則化する。 非量子化環境では、Fast JLと類似した埋め込み次元と実行時保証が証明される。 最初の構成は$m=O(\varepsilon^{-2}\log^2(d/δ))$、もう1つは$m=O(\varepsilon^{-2}\log(d/δ))$である。 どちらの構成も$O(d\log d)$ timeで適用できる。

関連論文リスト

• Quantum algorithms for orthogonal polynomial transforms [1.6624384368855523]
  Askey スキームの族に対する離散かつ連続的な新しい QOPT を提供する。 我々の効率的なQOPTアルゴリズムは時間$O(textpolylog(N(+++1)/)right)$を必要とします。 我々は、3項分解を用いて対応するチャープを高速にフォワードすることで、ラゲール変換のための新しいフレームワークを全ての順序に対して$>0$で開発する。
  論文  参考訳（メタデータ） (2026-10-02T16:53:47Z)
• Solving Sparse SDPs in Sublinear Time: A Classical Algorithm Inspired by the Quantum OR Lemma [70.99943094379263]
  有界ラディウス系におけるスパース半定値プログラムに対する最初の準時間古典的解法を与える。 我々の主な技術的貢献は、ハミルトンのギブス状態を同時に表す古典的な手続きである。
  論文  参考訳（メタデータ） (2026-09-30T17:51:21Z)
• Optimal learning of covariant quantum states and channels [0.0]
  我々は、既知の対称性を持つ量子状態やチャネルに対する集合トモグラフィープロトコルを提供する。 我々は, 最適な純状態推定のために, 林測度を近似する効率的な量子回路を構築した。
  論文  参考訳（メタデータ） (2026-09-30T08:30:12Z)
• Efficient Quantum Circuits for Coherent Conversion Between General First- and Second-Quantized Many-Body Representations [1.6089851562703383]
  逆の$Qdagger$を持つ明示的な$Q$を構築し、最初の量子化された状態をその固定された$N$の占有数形式にマッピングする。 変換は入力に対して対称性に依存しないが出力で完全に解決され、ボゾン、フェルミオン、パラ統計学のセクターに一様に適用される。
  論文  参考訳（メタデータ） (2026-06-23T18:00:04Z)
• Provable Quantization with Randomized Hadamard Transform [20.865915882313775]
  ディザバージョンのTurboQuantが平均2乗誤差$bigl(sqrt3/2 + obigr) cdot 4-b$ at $b$ bits per coordinate。 ディザバージョンのTurboQuantが平均2乗誤差$bigl(sqrt3/2 + obigr) cdot 4-b$ at $b$ bits per coordinate。
  論文  参考訳（メタデータ） (2026-05-13T17:38:18Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Fermionic partial tomography via classical shadows [0.0]
  そこで本研究では,n$モードフェルミオン状態の密度行列(k$-RDM)を推定するためのトモグラフィープロトコルを提案する。 量子状態特性の集合をランダムに学習する手法である古典的影の枠組みをフェルミオン設定に拡張する。
  論文  参考訳（メタデータ） (2020-10-30T06:28:26Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。