Fugu-MT 論文翻訳(概要): PARQ: Piecewise-Affine Regularized Quantization

論文の概要: PARQ: Piecewise-Affine Regularized Quantization

arxiv url: http://arxiv.org/abs/2503.15748v1
Date: Wed, 19 Mar 2025 23:38:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-21 22:27:03.154032
Title: PARQ: Piecewise-Affine Regularized Quantization
Title（参考訳）: PARQ: Pecewise-Affine Regularized Quantization
Authors: Lisa Jin, Jianhao Ma, Zechun Liu, Andrey Gromov, Aaron Defazio, Lin Xiao,
Abstract要約: 本研究では, 離散値に対するパラメータのクラスタ化を効果的に行うために, 凸, ピースワイズ・アフィン正則化(PAR)が可能であることを示す。集約勾配法 (AProx) を用いてパーレギュラ化損失関数を最小化し, 最終段階収束の証明を行う。
参考スコア（独自算出の注目度）: 27.797664437344768
License:
Abstract: We develop a principled method for quantization-aware training (QAT) of large-scale machine learning models. Specifically, we show that convex, piecewise-affine regularization (PAR) can effectively induce the model parameters to cluster towards discrete values. We minimize PAR-regularized loss functions using an aggregate proximal stochastic gradient method (AProx) and prove that it has last-iterate convergence. Our approach provides an interpretation of the straight-through estimator (STE), a widely used heuristic for QAT, as the asymptotic form of PARQ. We conduct experiments to demonstrate that PARQ obtains competitive performance on convolution- and transformer-based vision tasks.
Abstract（参考訳）: 大規模機械学習モデルの量子化認識学習(QAT)の原理的手法を開発した。具体的には,コンベックス,一括アフィン正則化(PAR)がモデルのパラメータを離散値に向けて効果的に誘導できることを示す。集合近位確率勾配法 (AProx) を用いてPAR正規化損失関数を最小化し, 最終次収束の証明を行う。提案手法は,QAT に広く用いられているストレートスルー推定器 (STE) を PARQ の漸近形式として解釈するものである。我々は、PARQが畳み込みとトランスフォーマーに基づく視覚タスクの競合性能を得ることを示す実験を行う。

関連論文リスト

RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [95.32315448601241]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
Efficient Quantum Gradient and Higher-order Derivative Estimation via Generalized Hadamard Test [2.5545813981422882]
パラメータ化量子回路(PQC)の動作を理解するためには、勾配に基づく手法が不可欠である有限差分、シフト規則、アダマール試験、直接アダマール試験などの既存の勾配推定法は、特定のPQCに対して最適な勾配回路を得ることが多い。本稿では,一階勾配推定法に適用したフレキシブル・アダマールテスト(Flexible Hadamard Test)を提案する。また、PQ内の個々のパラメータに対する最適勾配推定手法を適応的に選択する統一勾配法である量子自動微分(QAD)を導入する。
論文参考訳（メタデータ） (2024-08-10T02:08:54Z)
Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文参考訳（メタデータ） (2023-10-30T18:43:21Z)
Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文参考訳（メタデータ） (2023-06-13T01:18:16Z)
An iterative multi-fidelity approach for model order reduction of multi-dimensional input parametric PDE systems [0.0]
多次元入力パラメトリック空間を用いた大規模PDEシステムの縮小のためのサンプリングパラメトリック戦略を提案する。これはパラメトリック空間全体の低忠実度モデルを効率的なサンプリング戦略を用いてサンプリングポイントに利用することで達成される。提案手法は,低忠実度モデルを用いてソリューションデータベースを同化するため,オフライン段階での計算コストを大幅に削減する。
論文参考訳（メタデータ） (2023-01-23T15:25:58Z)
A kernel-based quantum random forest for improved classification [0.0]
従来の古典的学習手法を強化する量子機械学習(QML)は、その実現に様々な制限がある。量子カーネル推定(QKE)によって計算されるカーネル関数で線形量子支援ベクトルマシン(QSVM)を拡張する。オーバーフィッティングを制限するため、カーネル行列に低ランクNystr"om近似を適用するようモデルをさらに拡張する。
論文参考訳（メタデータ） (2022-10-05T15:57:31Z)
A Convergence Theory for Over-parameterized Variational Quantum Eigensolvers [21.72347971869391]
変分量子固有解法(VQE)は、近未来のノイズ中間規模量子(NISQ)コンピュータにおける量子応用の有望な候補である。オーバーパラメータ化系におけるVQEの収束の厳密な分析を行った。
論文参考訳（メタデータ） (2022-05-25T04:06:50Z)
Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
論文参考訳（メタデータ） (2022-05-18T17:11:23Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。