論文の概要: SPSA Hyperparameter Tuning for Variational Quantum Natural Language Inference
- arxiv url: http://arxiv.org/abs/2608.16939v1
- Date: Tue, 11 Aug 2026 16:39:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.070008
- Title: SPSA Hyperparameter Tuning for Variational Quantum Natural Language Inference
- Title（参考訳）: 変分量子自然言語推論のためのSPSAハイパーパラメータチューニング
- Abstract要約: 変分量子モデルの訓練には、パラメータシフト勾配と同時摂動近似のどちらかを選択する必要がある。
その結果,2サンプルSPSA勾配推定は40エポックにおける60パラメータの信頼性最適化に過度にばらつきがあることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training variational quantum models requires choosing between parameter-shift gradients, which are exact but cost $O(P)$ forward evaluations, and simultaneous perturbation stochastic approximation (SPSA), which uses only two samples but produces high-variance estimates that can degrade optimisation on small supervised tasks. Whether the cheap gradient is usable depends on the variance that results from different choices of the SPSA perturbation scale, learning rate, and gain-decay schedule. We varied those quantities across a broad grid on a 6-qubit, 60-parameter QNLI classifier and compared the best configurations to parameter-shift AdamW and BuresQNG. AdamW-style SPSA with $c_0=0.01$, $η=0.10$, $γ=0.10$ reached $55\% \pm 11\%$ test accuracy, improving over the default configuration ($49\% \pm 6\%$) but remaining 16-19 percentage points below the parameter-shift baselines because the two-sample SPSA gradient estimate has too much variance for reliable optimisation of 60 parameters in 40 epochs. Classical-gain SPSA and Bures-preconditioned SPSA performed worse, at $51\%$ and $46\%$ respectively. Bures-preconditioning a noisy two-sample SPSA gradient amplifies perturbation noise.
- Abstract（参考訳）: 変分量子モデルのトレーニングには、正確なパラメータシフト勾配(O(P)$フォワード評価)と、2つのサンプルしか使用していないが、小さな教師付きタスクで最適化を分解可能な高分散推定を生成する同時摂動確率近似(SPSA)の2つのパラメータシフト勾配を選択する必要がある。
安価な勾配が利用できるかどうかは、SPSA摂動尺度、学習率、ゲインデカイスケジュールの異なる選択から生じる分散に依存する。
パラメータシフトのAdamWとBuresQNGと比較した。
adamW-style SPSA with $c_0=0.01$, $η=0.10$, $γ=0.10$ reached 55\% \pm 11\%$ test accuracy, improve over the default configuration (49\% \pm 6\%$) but remaining 16-19% points below the parameter-shift baseline because because the two-sample SPSA gradient estimates has too much variance for reliable optimization of 60 parameters in 40 epochs。
古典的ゲインSPSAとバーレスプレコンディショニングSPSAは、それぞれ511\%$と446\%$でそれぞれ悪化した。
雑音2サンプルSPSA勾配のバーレスプレコンディショニングは摂動雑音を増幅する。
関連論文リスト
- SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。
メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。
4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
論文 参考訳（メタデータ） (2026-08-29T21:34:47Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Reinforcement Learning for Parameterized Quantum State Preparation: A Comparative Study [2.4542351340244264]
我々は、純離散ゲート選択からパラメータ化量子状態準備への強化学習により、指向性量子回路合成(DQCS)を拡張した。
ゲートタイプと影響を受けるキュービット(s)と回転角を協調的に選択する一段エージェントとを比較した。
本稿では,2から10キュービットのシステム上でのPPO(Proximal Policy Optimization)とAdvantage Actor--Critic(Advantage Actor--Critic)を評価する。
論文 参考訳（メタデータ） (2026-02-18T15:10:43Z) - Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent [1.7188280334580195]
単純降下レンズ(GD)によるToeplitz共分散推定の再検討
K = P$ のとき、GD は準最適解に収束する。
本稿では,振幅と周波数の学習率の異なる高速なGD変種を提案する。
論文 参考訳（メタデータ） (2025-11-03T14:07:53Z) - PLRV-O: Advancing Differentially Private Deep Learning via Privacy Loss Random Variable Optimization [16.48480873870065]
本稿では,パラメータ化されたDP-SGD雑音分布の広い探索空間を定義するフレームワークPLRV-Oを紹介する。
PLRV-Oは、厳格なプライバシー制約の下で実用性を大幅に改善することを示す。
論文 参考訳（メタデータ） (2025-09-08T01:06:45Z) - AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks [1.7265013728931]
本稿では,ディープニューラルネットワークに適した重要度に基づく勾配更新を備えた,新たな微分プライベートなSGDフレームワークを提案する。
AdaDPIGUは$(varepsilon, delta)$-differential privacyを満足し、収束保証を保持する。
MNISTでは、プライバシー予算が$epsilon = 8$である場合、テスト精度は99.12%に達し、非プライベートモデルとほぼ一致する。
論文 参考訳（メタデータ） (2025-07-09T03:53:03Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。
LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。
LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文 参考訳（メタデータ） (2023-05-28T15:15:48Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2022-12-08T18:56:37Z) - Towards Noise-adaptive, Problem-adaptive Stochastic Gradient Descent [7.176107039687231]
雑音に対して勾配降下(SGD)を適応させるステップサイズスキームを設計する。
我々は、Nesterov反復によるSGDの$T$反復がほぼ最適であることを示す。
他のステップサイズスキームと比較して、新しい指数的なステップサイズスキームの有効性を実証する。
論文 参考訳（メタデータ） (2021-10-21T19:22:14Z) - Stochastic Shortest Path with Adversarially Changing Costs [57.90236104782219]
最短経路 (SSP) は計画と制御においてよく知られた問題である。
また, 時間とともにコストの逆変化を考慮に入れた逆SSPモデルを提案する。
我々は、この自然な逆SSPの設定を最初に検討し、それに対するサブ線形後悔を得る。
論文 参考訳（メタデータ） (2020-06-20T12:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。