論文の概要: Entropy-Constrained Adaptive Stochastic Quantization

• arxiv url: http://arxiv.org/abs/2608.18147v1
• Date: Mon, 10 Aug 2026 17:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.151666
• Title: Entropy-Constrained Adaptive Stochastic Quantization
• Title（参考訳）: エントロピー制約付き適応確率量子化
• Abstract要約: アダプティブ量子化(ASQ)は、最近導入された量子化手法であり、不偏性を維持しながら与えられた入力に対して平均二乗誤差(MSE)を最適化する。 エントロピー制約適応量子化(ECASQ)問題を定式化し、適応量子化値を共同で選択し、エントロピー予算の下でMSEを最小化する。 我々は、長さdベクトルとほとんどのs量子化値に対して、$O(sd2)$ timeと$O(d2)$ spaceを持つ最適な動的プログラムと、$O(sd)を持つGPUフレンドリーな近似プログラムを与える。
• 参考スコア（独自算出の注目度）: 18.204242530505308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive stochastic quantization (ASQ) is a recently introduced quantization approach that optimizes the Mean Squared Error (MSE) for a given input while preserving unbiasedness. It is designed to alleviate the communication and memory bottlenecks of modern data and machine learning workloads, including model, gradient, and KV-cache compression and nearest-neighbor search. Further, practical systems can then compress quantized data with a lossless entropy encoder. However, existing unbiased methods, including ASQ, choose their quantization values without considering this later encoding stage, leaving accuracy on the table. We formulate the Entropy Constrained Adaptive Stochastic Quantization (ECASQ) problem, which jointly selects adaptive quantization values to minimize MSE under an entropy budget and an unbiasedness constraint. We give an optimal dynamic program with $O(sd^2)$ time and $O(d^2)$ space for a length-d vector and at most s quantization values, and a GPU-friendly approximate dynamic program with $O(sd^2)$ time and $O(d)$ space. The approximation guarantees that the solution has an MSE no larger than the optimal solution that uses one fewer bit of entropy per entry. We also provide an iterative refinement procedure for the approximation solution that, in our experiments, yields near-optimal results while retaining a substantial speed advantage over our solver for the optimal solution.
• Abstract（参考訳）: 適応確率量子化(Adaptive Stochastic Quantization、ASQ)は、与えられた入力に対して平均二乗誤差(MSE)を最適化し、不偏性を保存するための量子化手法である。 モデル、勾配、KV-cache圧縮、最寄りの検索を含む、現代的なデータおよび機械学習ワークロードの通信とメモリボトルネックを軽減するように設計されている。 さらに、実用的なシステムは、損失のないエントロピーエンコーダで量子化されたデータを圧縮することができる。 しかし、ASQを含む既存の非バイアスの手法では、後のエンコーディング段階を考慮せずに量子化の値を選択し、精度を表に残している。 本稿では,適応量子化値を共同で選択し,エントロピー予算と不偏性制約の下でMSEを最小化するEntropy Constrained Adaptive Stochastic Quantization (ECASQ)問題を定式化する。 我々は、長さdベクトルとほとんどのs量子化値に対して、$O(sd^2)$時間と$O(d^2)$空間を持つ最適動的プログラムと、$O(sd^2)$時間と$O(d)$空間を持つGPUフレンドリーな近似動的プログラムを与える。 この近似は、解が1エントリあたりのエントロピーが1ビット未満である最適解より大きすぎることを保証している。 また,近似解に対する反復的洗練手法を提案し,最適解に対する解法よりも高い速度で近似結果が得られるようにした。

関連論文リスト

• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Wall-Clock Complexity for Zeroth-Order Optimization with Tunable Oracle Fidelity [68.54852541944625]
  ブラックボックス最適化は勾配が利用できない場合に適用され、客観的評価は高価なシミュレーションに依存する。 本稿では, オラクル型, ノイズモデル, 最適化方式の選択が, アルゴリズムパラメータに対する壁面最適選択をいかに引き起こすかを示す。
  論文  参考訳（メタデータ） (2026-05-29T14:24:54Z)
• EQE-QAOA: An Equivalence-Preserving Qubit Efficient Framework for Combinatorial Optimization [54.05451096499336]
  既存の技術は情報損失のコストで量子ビットの削減に依存しており、計算性能は劣化している。 等価保存量子ビット効率QAOAを提案し、性能を劣化させることなく必要なキュービット数を著しく削減する。 完全独立変数を持つ非制約問題を除いて,大規模最適化問題に広く適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-20T13:57:49Z)
• Adaptive Probability Flow Residual Minimization for High-Dimensional Fokker-Planck Equations [14.22534820071447]
  高次元のフォッカー・プランク方程式を解くことは、計算物理学と力学の課題である。 物理情報ニューラルネットワークのような既存のディープラーニングアプローチは、次元が増加するにつれて計算上の課題に直面している。 本稿では,適応確率フロー残差最小化法(A-PFRM)を提案する。
  論文  参考訳（メタデータ） (2025-12-22T09:31:31Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• An Adaptive Weighted QITE-VQE Algorithm for Combinatorial Optimization Problems [0.0]
  本稿では,適応重み付け方式を用いて,VQE勾配をcQITE更新と統合する適応重み付きQITE-VQE(AWQV)アルゴリズムを提案する。 AWQVは近似の近似比を近似し、重み付けされた ErdHos-R'enyi の場合、古典的な Goemans-Williamson アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2025-04-14T19:05:16Z)
• Near-Optimal Parameter Tuning of Level-1 QAOA for Ising Models [3.390330377512402]
  2次元の$(gamma, beta)$サーチを$gamma$より1次元の検索に還元する方法を示し、$beta*$を解析的に計算する。 このアプローチはRecursive QAOA (RQAOA) を用いて検証され、粗い最適化RQAOAと半定値プログラムを一貫して上回る。
  論文  参考訳（メタデータ） (2025-01-27T19:00:00Z)
• Optimal and Near-Optimal Adaptive Vector Quantization [15.221460131211684]
  量子化は、圧縮、モデルウェイトとアクティベーション、データセットを含む多くの機械学習ユースケースの基本的な最適化である。 本稿では,適応ベクトル量子化(AVQ)問題を再検討し,時間と空間の複雑さを改善した最適解を求めるアルゴリズムを提案する。 我々のアルゴリズムは、さまざまな機械学習アプリケーションでより広範囲にAVQを使用するための扉を開く可能性がある。
  論文  参考訳（メタデータ） (2024-02-05T16:27:59Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。