論文の概要: Low-Precision Streaming PCA

• arxiv url: http://arxiv.org/abs/2510.22440v1
• Date: Sat, 25 Oct 2025 21:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.520298
• Title: Low-Precision Streaming PCA
• Title（参考訳）: 低精度ストリーミングPCA
• Authors: Sanjoy Dasgupta, Syamantak Kumar, Shourya Pandey, Purnamrita Sarkar,
• Abstract要約: 低精度ストリーミングPCAは、限られた精度でストリーミング設定における最上位の主成分を推定する。 線形および非線形量子化の下でPCAをストリーミングするOjaのアルゴリズムについて検討する。
• 参考スコア（独自算出の注目度）: 19.00482065580274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision streaming PCA estimates the top principal component in a streaming setting under limited precision. We establish an information-theoretic lower bound on the quantization resolution required to achieve a target accuracy for the leading eigenvector. We study Oja's algorithm for streaming PCA under linear and nonlinear stochastic quantization. The quantized variants use unbiased stochastic quantization of the weight vector and the updates. Under mild moment and spectral-gap assumptions on the data distribution, we show that a batched version achieves the lower bound up to logarithmic factors under both schemes. This leads to a nearly dimension-free quantization error in the nonlinear quantization setting. Empirical evaluations on synthetic streams validate our theoretical findings and demonstrate that our low-precision methods closely track the performance of standard Oja's algorithm.
• Abstract（参考訳）: 低精度ストリーミングPCAは、限られた精度でストリーミング設定における最上位の主成分を推定する。 我々は、主固有ベクトルの目標精度を達成するために必要な量子化分解能に基づいて、情報理論の下限を確立する。 我々は線形および非線形確率量子化の下でPCAをストリーミングするOjaのアルゴリズムについて検討する。 量子化された変種は、重みベクトルと更新の偏りのない確率的量子化を用いる。 データ分布に対する軽度モーメントとスペクトルギャップの仮定の下で、バッチ化されたバージョンは、両方のスキームの下で対数的要因の低い境界を達成することを示す。 これにより、非線形量子化設定におけるほぼ無次元の量子化誤差が生じる。 合成ストリームに関する実証的な評価は、我々の理論的な知見を検証し、我々の低精度手法が標準Ojaのアルゴリズムの性能を綿密に追跡していることを示す。

関連論文リスト

• Beyond Sin-Squared Error: Linear-Time Entrywise Uncertainty Quantification for Streaming PCA [5.749787074942513]
  Ojaのアルゴリズムを用いたストリーミング主成分分析(PCA)のための新しい統計的推論フレームワークを提案する。 最適誤差率と対数因子との一致する推定ベクトルの要素に対して、鋭いベルンシュタイン型濃度を導出する。 座標偏差を効率的に推定するために,証明可能な一貫した部分サンプリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-06-14T22:50:54Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• An adjoint-free algorithm for conditional nonlinear optimal perturbations (CNOPs) via sampling [5.758073912084367]
  我々は、条件付き非線形最適摂動(CNOP)を得るための最先端統計機械学習技術に基づくサンプリングアルゴリズムを提案する。 サンプリング手法は、目的関数値(ゼロ次情報)への勾配を直接減少させる 本研究では, 空間パターン, 目的値, 定量化計算時間, 非線形誤差成長を用いて得られたCNOPを実証する。
  論文  参考訳（メタデータ） (2022-08-01T16:07:22Z)
• Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization [9.062897838978955]
  様々な訓練後の量子一様化法は通常凸最適化に基づいている。 提案手法は,特に低量子化の場合,高いモデル精度を示す。
  論文  参考訳（メタデータ） (2021-05-05T05:14:22Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。