論文の概要: Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
- arxiv url: http://arxiv.org/abs/2603.10485v1
- Date: Wed, 11 Mar 2026 07:19:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.825645
- Title: Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
- Title（参考訳）: 過パラメータ化レジームにおけるグラディエントドライズのためのデュアルスペースプレコンディショニング
- Abstract要約: 双対空間プレコンディショニンググラディエントDescentの収束特性について検討した。
また、デュアルスペースプレコンディショニングによるグラディエントDescentの暗黙バイアスについても検討した。
- 参考スコア（独自算出の注目度）: 14.991382702354924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work we study the convergence properties of the Dual Space Preconditioned Gradient Descent, encompassing optimizers such as Normalized Gradient Descent, Gradient Clipping and Adam. We consider preconditioners of the form $\nabla K$, where $K: \mathbb{R}^p \to \mathbb{R}$ is convex and assume that the latter is applied to train an over-parameterized linear model with loss of the form $\ell({X} {W} - {Y})$, for weights ${W} \in \mathbb{R}^{d \times k}$, labels ${Y} \in \mathbb{R}^{n \times k}$ and data ${X} \in \mathbb{R}^{n \times d}$. Under the aforementioned assumptions, we prove that the iterates of the preconditioned gradient descent always converge to a point ${W}_{\infty} \in \mathbb{R}^{d \times k}$ satisfying ${X}{W}_{\infty} = {Y}$. Our proof techniques are of independent interest as we introduce a novel version of the Bregman Divergence with accompanying identities that allow us to establish convergence. We also study the implicit bias of Dual Space Preconditioned Gradient Descent. First, we demonstrate empirically that, for general $K(\cdot)$, ${W}_\infty$ depends on the chosen learning rate, hindering a precise characterization of the implicit bias. Then, for preconditioners of the form $K({G}) = h(\|{G}\|_F)$, known as \textit{isotropic preconditioners}, we show that ${W}_\infty$ minimizes $\|{W}_\infty - {W}_0\|_F^2$ subject to ${X}{W}_\infty = {Y}$, where ${W}_0$ is the initialization. Denoting the convergence point of GD initialized at ${W}_0$ by ${W}_{\text{GD}, \infty}$, we thus note ${W}_{\infty} = {W}_{\text{GD}, \infty}$ for isotropic preconditioners. Finally, we show that a similar fact holds for general preconditioners up to a multiplicative constant, namely, $\|{W}_0 - {W}_{\infty}\|_F \le c \|{W}_0 - {W}_{\text{GD}, \infty}\|_F$ for a constant $c>0$.
- Abstract（参考訳）: 本研究は, 正規化グラディエント・ディフレッシュ, グラディエント・クリッピング, アダムなどの最適化器を含む2次元空間プレコンディショニンググラディエント・ディフレッシュの収束特性について検討する。
ここで $K: \mathbb{R}^p \to \mathbb{R}$ は凸であり、後者は $\ell({X} {W} - {Y})$, for weights ${W} \in \mathbb{R}^{d \times k}$, labels ${Y} \in \mathbb{R}^{n \times k}$, data ${X} \in \mathbb{R}^{n \times d}$ の形で過パラメータ線型モデルを訓練するために適用されると仮定する。
上記の仮定の下では、事前条件付き勾配降下の反復は、常に点 ${W}_{\infty} \in \mathbb{R}^{d \times k}$ に収束し、${X}{W}_{\infty} = {Y}$ を満たすことを証明している。
我々の証明技術は、Bregman Divergenceの新しいバージョンを導入し、それに付随するアイデンティティを導入し、収束を確立するために、独立した関心を持っている。
また、デュアルスペースプレコンディショニングによるグラディエントDescentの暗黙バイアスについても検討した。
まず、一般に$K(\cdot)$の場合、${W}_\infty$は選択した学習率に依存し、暗黙のバイアスの正確な評価を妨げることを実証的に示す。
このとき、$K({G}) = h(\|{G}\|_F)$、あるいは \textit{isotropic preconditioners} に対して、${W}_\infty$ が $\|{W}_\infty - {W}_0\|_F^2$ を ${X}{W}_\infty = {Y}$ に最小化することを示す。
GD の収束点を ${W}_0$ by ${W}_{\text{GD}, \infty}$ で表すと、等方的プレコンディショナーに対して ${W}_{\infty} = {W}_{\text{GD}, \infty}$ となる。
最後に、同様の事実が一般プレコンディショナーに対して乗法定数、すなわち、定数$c>0$に対して $\|{W}_0 - {W}_{\infty}\|_F \le c \|{W}_0 - {W}_{\text{GD}, \infty}\|_F$ まで成り立つことを示す。
関連論文リスト
- Approximating the operator norm of local Hamiltonians via few quantum states [53.16156504455106]
複素ヒルベルト空間上で作用するエルミート作用素 $A$ を 2n$ とする。
A$ がパウリ拡大において小さな次数を持つとき、あるいは言い換えれば、$A$ は局所 $n$-量子ハミルトニアンである。
A$ が $d$-local, textiti.e., $deg(A)le d$ であるときは常に、次の離散化型不等式を持つことを示す。
論文 参考訳（メタデータ） (2025-09-15T14:26:11Z) - Convergence Rate for the Last Iterate of Stochastic Gradient Descent Schemes [0.0]
Fdelta が凸であるときに SHB が$F_*$ で一定運動量に達することを証明した。
また、Fdelta が凸であるときに SHB が$F_*$ の運動量を得ることを示す。
論文 参考訳（メタデータ） (2025-07-09T20:59:23Z) - MLPs at the EOC: Concentration of the NTK [7.826806223782053]
ニューラルタンジェント(NTK)のK_theta濃度について検討した。
我々は、勾配独立性の近似バージョンが有限幅で成り立つことを証明した。
この限界を正確に近似するためには, 十分な濃度に対して, bbN+1$の約$mに対して, $m_k = k2 m$として, 隠蔽層幅を2次的に成長させる必要がある。
論文 参考訳（メタデータ） (2025-01-24T18:58:50Z) - MLPs at the EOC: Spectrum of the NTK [7.826806223782053]
ニューラルスタイル(NTK)$oversetscriptstyleinftyKの特性について検討する。
$Delta_phi = fracb2a2+b2$ は、NTK行列の条件数がその極限に収束する速度を決定する。
論文 参考訳（メタデータ） (2025-01-22T21:12:51Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳（メタデータ） (2024-02-01T07:21:32Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - Spiked Covariance Estimation from Modulo-Reduced Measurements [14.569322713960494]
我々は、ほとんどの方向において$bfu$と$nu=mathrmpoly(k)$に対して、$n=mathrmpoly(k)$測定を用いて、高い精度で$bfu$を推定するアルゴリズムを開発し、分析する。
数値実験により,非漸近的条件下でも良好な性能が得られた。
論文 参考訳（メタデータ） (2021-10-04T02:10:47Z) - A General Derivative Identity for the Conditional Mean Estimator in
Gaussian Noise and Some Applications [128.4391178665731]
文献のいくつかのアイデンティティは、$E[bf X|bf Y=bf y]$を条件分散、スコア関数、高階条件モーメントなどの他の量に接続します。
本稿の目的は,これらのアイデンティティの統一的視点を提供することである。
論文 参考訳（メタデータ） (2021-04-05T12:48:28Z) - On the Regularization Effect of Stochastic Gradient Descent applied to
Least Squares [0.0]
mathbbRn times n$ の可逆 $A に対して $|Ax -b |2 rightarrow min$ に適用される勾配降下の挙動について検討する。
ここでは、$A$ に明示的な定数 $c_A$ が存在して、$$ mathbbE left| Ax_k+1-bright|2_2 leq となることを示す。
論文 参考訳（メタデータ） (2020-07-27T03:01:09Z) - On the Optimal Weighted $\ell_2$ Regularization in Overparameterized
Linear Regression [23.467801864841526]
線形モデル $mathbfy = mathbfX mathbfbeta_star + mathbfepsilon$ with $mathbfXin mathbbRntimes p$ in the overparameterized regime $p>n$ を考える。
予測リスク $mathbbE(y-mathbfxThatmathbfbeta_lambda)2$ in proportional limit $p/n の正確なキャラクタリゼーションを提供する。
論文 参考訳（メタデータ） (2020-06-10T12:38:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。