論文の概要: Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters

• arxiv url: http://arxiv.org/abs/2605.11838v1
• Date: Tue, 12 May 2026 09:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.751113
• Title: Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters
• Title（参考訳）: ベクトルノルムを超えた勾配クリッピング:行列値パラメータのスペクトル的アプローチ
• Authors: Alexander Yukhimchuk, Mladen Kolar, Martin Takáč, Sayantan Choudhury,
• Abstract要約: ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
• 参考スコア（独自算出の注目度）: 48.3175117923623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient clipping is a standard safeguard for training neural networks under noisy, heavy-tailed stochastic gradients; yet, most clipping rules treat all parameters as vectors and ignore the matrix structure of modern architectures. We show empirically that data outliers often amplify only a small number of leading singular values in layer-wise gradient matrices, while the rest of the spectrum remains largely unchanged. Motivated by this phenomenon, we propose spectral clipping, which stabilizes training by clamping singular values that exceed a threshold while preserving the singular directions. This framework generalizes classical gradient norm clipping and can be easily integrated into existing optimizers. We provide a convergence analysis for non-convex optimization with spectrally clipped SGD, yielding the optimal $\mathcal{O}\left(K^{\frac{2 - 2α}{3α- 2}}\right)$ rate for heavy-tailed noise. To minimize hyperparameter tuning, we introduce layer-wise adaptive thresholds based on moving averages or sliding-window quantiles of the top singular values. Finally, we develop efficient implementations that clip only the top $r$ singular values via randomized truncated SVD, avoiding full decompositions for large layers. We demonstrate competitive performance across synthetic heavy-tailed settings and neural network training tasks.
• Abstract（参考訳）: グラディエントクリッピングは、ノイズの多い重み付き確率勾配の下でニューラルネットワークをトレーニングするための標準的なセーフガードであるが、ほとんどのクリッピングルールは全てのパラメータをベクトルとして扱い、現代のアーキテクチャの行列構造を無視している。 実験により、データアウトレーヤは層次勾配行列において少数の特異値のみを増幅するが、残りのスペクトルはほとんど変化しないことを示す。 この現象に触発されたスペクトルクリッピングは、特異方向を保ちながら閾値を超える特異値をクランプすることで訓練を安定化する。 このフレームワークは古典的な勾配ノルムクリッピングを一般化し、既存のオプティマイザに容易に組み込むことができる。 スペクトルカットしたSGDを用いた非凸最適化のための収束解析を行い、重み付き雑音に対する最適な$\mathcal{O}\left(K^{\frac{2 - 2α}{3α-2}}\right)$レートを得る。 ハイパーパラメータチューニングを最小限に抑えるため,トップ特異値の移動平均やスライディングウインドウの量子化に基づく層幅適応しきい値を導入する。 最後に,最大$r$の特異値のみをランダムにトラッピングしたSVDでクリップする効率的な実装を開発し,大きな層に対する完全な分解を回避する。 合成重み付き設定とニューラルネットワークトレーニングタスクの競合性能を実証する。

関連論文リスト

• Enhancing LLM Training via Spectral Clipping [28.270053200038586]
  SPECTRAは、スペクトル-ノルム制約を強制する更新のスペクトル後クリッピングのためのフレームワークである。 我々は、SPECTRAがAdamW、Signum、AdEMAMixなどの様々なバリデーションの損失を均一に改善することを示す。
  論文  参考訳（メタデータ） (2026-03-15T10:16:40Z)
• Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning [17.65459083031186]
  線形回帰を訓練したソフトマックス自己アテンション層における勾配降下のダイナミクスを訓練する。 簡単な一階勾配勾配勾配は、大域的に最適な自己注意パラメータに収束できることを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:44:54Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• High Probability Analysis for Non-Convex Stochastic Optimization with Clipping [13.025261730510847]
  勾配クリッピングは重み付きニューラルネットワークを扱う技術である。 ほとんどの理論上の保証は、予測外解析のみを提供し、性能のみを提供する。 我々の分析は、勾配クリッピングによる最適化アルゴリズムの理論的保証について、比較的完全な図を提供している。
  論文  参考訳（メタデータ） (2023-07-25T17:36:56Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。