論文の概要: Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias

• arxiv url: http://arxiv.org/abs/2609.32270v1
• Date: Sat, 26 Sep 2026 05:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:15:56.174262
• Title: Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias
• Title（参考訳）: スペクトルグラディエントDescenceのオーバーフィッティング:マトリックス幾何学が一般化とインプリシトバイアスをどう形作るか
• Abstract要約: スペクトル勾配降下(SpecGD)の一般化について検討する。 単一方向を共有する崩壊したショートカットと、異なる特異方向を占める分散ショートカットとを対比した。 1つのSpecGDステップは、既に補間および一般化が可能であり、継続トレーニングは、非常に悪い一般化を伴う方向に収束することを示す。
• 参考スコア（独自算出の注目度）: 7.899783770602496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the generalization of spectral gradient descent (SpecGD) in overparameterized matrix classification with corrupted labels. Each input combines a shared low-rank signal with a rank-one sample-specific perturbation, referred to as a shortcut, that enables memorization but does not generalize. We contrast collapsed shortcuts, which share a singular direction, with dispersed shortcuts, which occupy distinct singular directions. Changing only this geometry can reverse the relative generalization of GD and SpecGD: collapsed shortcuts can favor SpecGD, while dispersed shortcuts can favor GD. In the dispersed regime, exact shortcut orthogonality eliminates the signal from the late-stage SpecGD direction, while vanishing random correlations collectively generate a small but generalization-relevant signal through a second-order effect. To identify the direction selected by SpecGD, which the spectral max-margin problem alone does not determine, we combine a refined analysis of its dual with the exponentiated-gradient dynamics of normalized loss weights. Finally, we show that a single SpecGD step can already interpolate and generalize well, while continued training converges to a direction with substantially worse generalization.
• Abstract（参考訳）: 劣化ラベルを用いた過パラメータ化行列分類におけるスペクトル勾配勾配(SpecGD)の一般化について検討した。 それぞれの入力は、共有低ランク信号と1ランクのサンプル固有の摂動(ショートカットと呼ばれる)を組み合わせることで、記憶が可能であるが、一般化しない。 単一方向を共有する崩壊したショートカットと、異なる特異方向を占める分散ショートカットとを対比した。 崩壊したショートカットはSpecGDを、分散したショートカットはGDを好む。 分散状態において、正確なショートカット直交性は後期のSpecGD方向からの信号を排除し、ランダムな相関を消し、二階効果によって小さなが一般化関連な信号を生成する。 スペクトル最大マージン問題だけでは決定できないSpecGDによって選択された方向を特定するために、その双対の洗練された解析と正規化損失重みの指数化勾配ダイナミクスを組み合わせる。 最後に,1つのSpecGDステップが既に補間および一般化可能であり,継続トレーニングはよりひどい一般化を伴う方向に収束することを示す。

関連論文リスト

• Topological Signal Processing With Unoriented Operators [26.993640937894643]
  任意の単相レベル間の無向入射およびラプラシア行列がグラフのようなスペクトル特性を持つことを示す。 また、低次信号の集約によって高次信号のどの程度が説明されるかを定量化する、非指向的相互作用次分解(interaction-order decomposition)を導入する。 実世界のデータを用いた実験では、オーダーアウェア正規化器は指向するベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-09-21T19:01:17Z)
• Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
  グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。 Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。 10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
  勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。 最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。 しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
  論文  参考訳（メタデータ） (2024-10-17T19:46:51Z)
• Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs [30.003409099607204]
  残差接続と正規化層を有する(線形化)グラフニューラルネットワーク(GNN)の形式的かつ正確な特徴付けを提供する。 正規化層の中心となるステップは、メッセージパッシングにおけるグラフ信号を変化させ、関連する情報を抽出しにくくすることを示す。 本稿では,グラフNormv2と呼ばれる新しい正規化レイヤを導入し,その中心となるステップを学習することで,元のグラフ信号を望ましくない方法で歪ませないようにする。
  論文  参考訳（メタデータ） (2024-06-05T06:53:16Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。