論文の概要: Grokking and epoch-wise double descent in quantum neural networks
- arxiv url: http://arxiv.org/abs/2607.08350v1
- Date: Thu, 09 Jul 2026 10:55:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.505795
- Title: Grokking and epoch-wise double descent in quantum neural networks
- Title（参考訳）: 量子ニューラルネットワークにおけるグロッキングとエポックワイズ二重降下
- Abstract要約: 2量子量子ニューラルネットワーク(QNN)におけるグラッキング遷移とエポックワイド二重降下の実証観測を報告する。
後期訓練における一般化崩壊は,訓練損失が停滞しているにもかかわらず,テスト誤差が著しく増大する。
解析の結果, この崩壊は, 平らで相整合な調和解から遠ざかる, 重みノルムの非拘束的な増加と相関していることがわかった。
- 参考スコア（独自算出の注目度）: 0.08739101659113156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grokking, the delayed transition from memorization to generalization, is a fundamental phenomenon in gradient-based learning, yet its dynamics within variational quantum machine learning (QML) remain largely unexamined. In this work, we report the empirical observation of both the grokking transition and epoch-wise double descent in a two-qubit quantum neural network (QNN) under a complete parameterization of the SU(4) manifold. We demonstrate that overparameterization via increased circuit depth improves the probability of successful generalization. Notably, these architectures frequently exhibit an epoch-wise double descent in test error, degrading at a critical epoch before recovering into a generalizing state. Crucially, we identify a generalization decay in late-stage training, where the test error increases significantly despite a stagnant training loss. Bridging this behavior with algorithmic stability theory, our analysis reveals that this decay correlates with an unconstrained increase of the weight-norm, drifting away from sparse, phase-aligned harmonic solutions toward overfitted solutions in the Hilbert space. We analyze the underlying temporal dynamics of this transition, demonstrating how the onset of generalization is linked to optimization hyperparameters such as learning rate and weight decay. Finally, to mitigate late-stage decay, we introduce a weak explicit weight-norm regularization into the loss function. We demonstrate that this structural anchor stabilizes the post-grokking phase and permanently preserves generalization gains, providing a robust framework for training overparameterized quantum circuits.
- Abstract（参考訳）: 暗記から一般化への遅れた遷移であるグロキングは、勾配に基づく学習の基本的な現象であるが、変分量子機械学習(QML)におけるその力学は、ほとんど検討されていない。
本研究では、SU(4)多様体の完全なパラメータ化の下で、2量子量子ニューラルネットワーク(QNN)におけるグラッキング遷移とエポシカル2重降下の両方を経験的に観察したことを報告する。
回路深度の増加による過パラメータ化が一般化の確率を向上させることを示す。
特に、これらのアーキテクチャはテストエラーにおけるエポックな二重降下をしばしば示し、決定的なエポックで分解した後、一般化状態に回復する。
重要なこととして、我々は後期訓練における一般化崩壊を見極め、訓練損失が停滞しているにもかかわらず、テストエラーが著しく増加する。
この挙動をアルゴリズム安定性理論と組み合わせると、この崩壊はヒルベルト空間の過飽和解に対するスパースな位相整合調和解から遠ざかる、ウェイトノルムの非拘束的な増加と相関することが明らかとなる。
この遷移の根底にある時間的ダイナミクスを解析し、一般化の開始が学習率や重み減衰などの最適化ハイパーパラメータとどのように結びついているかを示す。
最後に、後期崩壊を緩和するために、損失関数に弱い明示的な重み-ノルム正規化を導入する。
この構造的アンカーは、後処理相を安定化させ、一般化ゲインを恒久的に保存し、過パラメータ化量子回路をトレーニングするための堅牢な枠組みを提供する。
関連論文リスト
- A Stochastic--Geometric Theory of Scaling Laws in Grokking [6.109217901547081]
遅延一般化(delayed generalization、egrokking)とは、ニューラルネットワークがトレーニングの初期にトレーニングデータに適合するが、長い遅延の後のみ一般化を開始する現象である。
まず、Adamの最適化力学と重み収縮正則化により誘導される到達可能な解空間のシェルコア位相構成を理論的に特徴づける。
次に、この位相配置の幾何学と最適化軌道が記憶多様体から逃れる解遷移時間を分析する。
論文 参考訳（メタデータ） (2026-06-29T14:43:02Z) - Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
CL-QASは連続的な量子アーキテクチャ検索フレームワークである。
振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。
制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
論文 参考訳（メタデータ） (2026-01-10T02:36:03Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳（メタデータ） (2026-01-05T08:04:33Z) - The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold [5.076419064097734]
暗記後の学習は、制約付き最適化のレンズを通して理解することができると論じる。
勾配降下は、零損失多様体上の重みノルムを効果的に最小化することを示す。
実験により,予測勾配を用いた学習過程のシミュレーションは,グルーキングの遅延一般化と表現学習特性の両方を再現することを確認した。
論文 参考訳（メタデータ） (2025-11-02T18:44:42Z) - Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization [5.582101184758528]
我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。
分析の結果,Tikhonov正則化がSGDの流れを制御し,安定した学習力学が得られることがわかった。
論文 参考訳（メタデータ） (2025-05-16T16:53:49Z) - Learning Dynamics in Linear VAE: Posterior Collapse Threshold,
Superfluous Latent Space Pitfalls, and Speedup with KL Annealing [0.0]
変分オートエンコーダ (VAEs) は、変分後部はしばしば前と密接に整合する悪名高い問題に直面している。
本研究では,極小VAEにおける学習力学の理論解析を行った。
論文 参考訳（メタデータ） (2023-10-24T01:20:27Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Stochastic Training is Not Necessary for Generalization [57.04880404584737]
勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。
本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-09-29T00:50:00Z) - Double Trouble in Double Descent : Bias and Variance(s) in the Lazy
Regime [32.65347128465841]
深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。
バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。
我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
論文 参考訳（メタデータ） (2020-03-02T17:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。