論文の概要: Block-Sphere Vector Quantization

• arxiv url: http://arxiv.org/abs/2605.19972v1
• Date: Tue, 19 May 2026 15:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.474862
• Title: Block-Sphere Vector Quantization
• Title（参考訳）: ブロック球ベクトル量子化
• Authors: Heesang Ann, Joongkyu Lee, Min-hwan Oh,
• Abstract要約: ベクトル量子化はスケーラブルな機械学習システムにとって基本的なプリミティブである。 最近の回転型量子化器は強い保証と経験的性能を導入している。 回転型ブロック量子化アルゴリズムであるブロック-球量子化(BlockQuant)を導入する。
• 参考スコア（独自算出の注目度）: 35.41703011973504
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vector quantization is a fundamental primitive for scalable machine learning systems, enabling memory-efficient storage, fast retrieval, and compressed inference. Recent rotation-based quantizers such as EDEN, RabitQ, and TurboQuant have introduced strong guarantees and empirical performance, but the surrounding comparisons have been difficult to interpret because they rely on different distortion criteria, probability regimes, and implementation assumptions. As our first contribution, we provide a unified theoretical comparison of these methods and show that their relative advantages are criterion-dependent rather than absolute: EDEN and TurboQuant are favorable for MSE distortion, EDEN is also effective for expected inner-product distortion, and RabitQ provides strong high-probability control. This comparison further clarifies that EDEN provides particularly strong guarantees for expected distortion measures. As our second contribution, we introduce Block-Sphere Quantization (BlockQuant), a new rotation-based block quantization algorithm designed around the spherical geometry of randomly rotated vectors. Unlike coordinate-wise quantizers, BlockQuant quantizes blocks on the sphere, preserving the geometry of rotated embeddings more faithfully. We prove that this block-spherical design theoretically improves over the baselines considered in this paper for both reconstruction MSE and expected inner-product distortion. Our experiments on real embedding datasets and long-context LLM inference tasks show practical gains that are consistent with our theoretical improvements.
• Abstract（参考訳）: ベクトル量子化はスケーラブルな機械学習システムにとって基本的なプリミティブであり、メモリ効率のよいストレージ、高速検索、圧縮推論を可能にしている。 近年、EDEN、RabitQ、TurboQuantなどの回転型量子化器は、強い保証と経験的性能を導入しているが、その周辺の比較は、異なる歪み基準、確率条件、実装仮定に依存するため、解釈が困難である。 EDENとTurboQuantはMSE歪みに好適であり、EDENは予想される内積歪みにも有効であり、RabitQは強い高確率制御を提供する。 この比較により、EDENは期待される歪み対策に対して特に強い保証を提供することが明らかになった。 第2の貢献として、ランダムに回転するベクトルの球面幾何学を中心に設計された新しい回転に基づくブロック量子化アルゴリズムであるブロック-球量子化(BlockQuant)を導入する。 座標量子化器とは異なり、BlockQuantは球面上のブロックを量子化し、回転した埋め込みの幾何学をより忠実に保存する。 本論文では, このブロック-球面設計が, MSEの再構築と内積歪みの予測において, ベースラインよりも理論的に向上することが証明された。 実組込みデータセットと長文LLM推論タスクに関する実験は、我々の理論的改善と整合した実用的なゲインを示す。

関連論文リスト

• Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
  不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。 既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。 我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
  論文  参考訳（メタデータ） (2026-02-11T02:00:25Z)
• Reinforcement Learning Using known Invariances [54.91261509214309]
  本稿では、既知のグループ対称性をカーネルベースの強化学習に組み込むための理論的枠組みを開発する。 対称性を意識したRLは、標準のカーネルよりも大幅に性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-05T13:56:14Z)
• TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate [13.14434628836727]
  ベクトル量子化は、その幾何学構造における歪みを最小限にしながら、高次元ユークリッドベクトルを定量化することを目的としている。 平均二乗誤差(MSE)と内積歪みに対処するTurboQuantを提案する。 オンラインアプリケーションに適したデータ公開アルゴリズムは、ほぼ最適な歪み率を達成する。
  論文  参考訳（メタデータ） (2025-04-28T15:05:35Z)
• A Unified Blockwise Measurement Design for Learning Quantum Channels and Lindbladians via Low-Rank Matrix Sensing [5.266892492931388]
  本稿では,量子超演算学習のための行列センシング技術に基づくロバストな手法を提案する。 ノイズの存在下での低ランクスーパーオペレータの識別性と回復に関する理論的保証を提供する。 提案手法では,最小二乗(ALS)の交互化と,行列センシングの最適化を行う。
  論文  参考訳（メタデータ） (2025-01-23T20:36:45Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Explainable Equivariant Neural Networks for Particle Physics: PELICAN [51.02649432050852]
  PELICANは、新しい置換同変であり、ローレンツ不変アグリゲーターネットワークである。 本稿では,タグ付け(分類)とローレンツ発泡トップクォークの再構成(回帰)の両文脈におけるPELICANアルゴリズムアーキテクチャについて述べる。 PELICANの適用範囲を、クォーク開始時とグルーオン開始時とを識別するタスクに拡張し、5種類のジェットを対象とするマルチクラス同定を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:08:40Z)
• Convergence and Quantum Advantage of Trotterized MERA for Strongly-Correlated Systems [0.0]
  トロッタライズされたMERA VQEは、量子コンピュータ上での強い相関関係の量子多体系の効率的な研究にとって有望なルートである。 我々は,MERA層をステージ上に構築し,最適化中に位相図を走査することにより,収束を著しく改善できることを示す。
  論文  参考訳（メタデータ） (2023-03-15T20:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。