論文の概要: Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2606.02078v1
• Date: Mon, 01 Jun 2026 11:07:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.879123
• Title: Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks
• Title（参考訳）: $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks
• Authors: Jianhao Xu, Zhuang Yang,
• Abstract要約: 動的値が$p$の$ell_p$-normスキームを提案し、それを勾配降下(SGD)と運動量(SGDM)に組み込む。 我々は,深部ニューラルネットワークに対する(O-1/2)収束率を達成するLPSGDとLPSGDMの理論的保証を確立する。
• 参考スコア（独自算出の注目度）: 23.324496414025322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The existing optimizers for deep neural networks (DNNs) typically rely on either the $\ell_2$ norm or the $\ell_\infty$ norm, resulting in optimizers that do not adapt well to substantial changes in curvature across parameter dimensions. Generally, the training process of DNNs often exhibits strong curvature anisotropy in the early period, whereas in the later period, the training process of DNNs tends to move toward flatter regions with weaker anisotropy. Particularly, optimizers based on the \(\ell_2\)-norm are usually dominated by high-curvature directions, restricting updates of optimizers along with lower curvature direction and thus leading to a slower convergence rate. While optimizers based on the \(\ell_\infty\)-norm are prone to oscillations in flatter regions, due to the coordinate-wise updates of the same magnitude. To address these two extreme cases generated by $\ell_2$ and $\ell_\infty$ norms, we propose a novel $\ell_p$-norm scheme with a dynamical value of $p$ and incorporate it into stochastic gradient descent (SGD) and SGD with momentum (SGDM), leading to two novel optimizers with better generalization performance: ${\ell_p}$-SGD (LPSGD) and ${\ell_p}$-SGDM (LPSGDM). Particularly, the resulting optimizers suppress the dominance of high-curvature directions in the early period by utilizing a large $p$ ($p>2$), followed by a gradual decrease of $p$ toward 2 to enable more stable and refined updates, where the latter process is motivated by the cosine annealing strategy. We establish theoretical guarantees of the resulting algorithms and analyze that both LPSGD and LPSGDM achieve an \(O(T^{-1/2})\) convergence rate for the nonconvex setting. Extensive experiments are conducted on benchmark datasets, including CIFAR-10, CIFAR-100, and ImageNet-1K, with multiple DNNs such as VGG-11, ResNet-18, and ResNet-50.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の既存のオプティマイザは、通常$\ell_2$ノルムまたは$\ell_\infty$ノルムのいずれかに依存しており、パラメータ次元間の曲率の大きな変化にうまく適応しないオプティマイザとなる。 一般に、DNNのトレーニングプロセスは、初期の段階では強い曲率異方性を示すが、後期には、DNNのトレーニングプロセスはより弱い異方性を持つ平らな領域へ移動する傾向にある。 特に、 \(\ell_2\)-ノルムに基づくオプティマイザは、通常、高い曲率方向で支配され、低い曲率方向と共にオプティマイザの更新を制限する。 \(\ell_\infty\)-ノルムに基づくオプティマイザは、同じ大きさの座標ワイド更新のため、平坦な領域で振動する傾向にある。 これら2つの極端なケースを$\ell_2$と$\ell_\infty$ノルムで解決するために、$\ell_p$-normの動的値を持つ新しい$\ell_p$-normスキームを提案し、それを確率勾配降下(SGD)とSGDの運動量(SGDM)に組み込むことにより、より優れた一般化性能を持つ2つの新しいオプティマイザ:${\ell_p}$-SGD(LPSGD)と${\ell_p}$-SGDM(LPSGDM)を得る。 特に, 得られたオプティマイザは, 大容量の$p$(p>2$)を用いて初期高曲率方向の優位性を抑え, その後徐々に$p$を2に減らし, より安定かつ洗練された更新を可能にし, 後者のプロセスはコサイン焼鈍戦略によって動機付けられる。 得られたアルゴリズムの理論的保証を確立し, LPSGD と LPSGDM の両方が非凸設定に対する \(O(T^{-1/2})\) 収束率を達成することを解析する。 CIFAR-10、CIFAR-100、ImageNet-1Kなどのベンチマークデータセットに対して、VGG-11、ResNet-18、ResNet-50といった複数のDNNを用いて大規模な実験が行われた。

関連論文リスト

• Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
  スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。 我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
  論文  参考訳（メタデータ） (2026-05-18T15:13:18Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
  AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。 GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
  論文  参考訳（メタデータ） (2025-11-18T18:08:20Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval [49.825549809652436]
  $k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。 適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T07:36:55Z)
• Decoupled Weight Decay for Any $p$ Norm [1.1510009152620668]
  トレーニング中の正規化に$L_p$のブリッジをベースとした,スパーシフィケーションに対する単純かつ効果的なアプローチを検討する。 我々は、標準の$L$重み崩壊を任意の$p$ノルムに一般化する新しい重み崩壊スキームを導入する。 標準的な$L$正規化に匹敵する性能を維持しながら、非常に疎結合なネットワークにつながることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-16T18:02:15Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Improve the Robustness and Accuracy of Deep Neural Network with $L_{2,\infty}$ Normalization [0.0]
  ディープニューラルネットワーク(DNN)の堅牢性と精度は、$L_2,infty$正規化を導入することで向上した。 L_2,infty$正規化は、DNN関数のポリヘドロングラフの隣接する2つの面の間の大きな二面角をもたらすことが証明されている。
  論文  参考訳（メタデータ） (2020-10-10T05:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。