論文の概要: Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
- arxiv url: http://arxiv.org/abs/2604.13130v1
- Date: Mon, 13 Apr 2026 22:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.221222
- Title: Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
- Title（参考訳）: LangevinアップデートによるグラディエントDescentのデータ駆動チューニングに関する一般化保証
- Authors: Saumya Goyal, Rohith Rongali, Ritabrata Ray, Barnabás Póczos,
- Abstract要約: Langevin Gradient Descent Algorithm (LGD) は、損失関数と凸回帰タスクの正則化によって定義される後部分布の平均を近似する。
本稿では,LGDアルゴリズムがベイズの2乗損失に対する最適解を実現するための最適パラメータ構成の存在を証明した。
本稿では,LGDの成功の実証的証拠と,数個の合成データセットを用いた線形回帰学習のためのメタラーニング手法を示す。
- 参考スコア（独自算出の注目度）: 4.171817732235221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study learning to learn for regression problems through the lens of hyperparameter tuning. We propose the Langevin Gradient Descent Algorithm (LGD), which approximates the mean of the posterior distribution defined by the loss function and regularizer of a convex regression task. We prove the existence of an optimal hyperparameter configuration for which the LGD algorithm achieves the Bayes' optimal solution for squared loss. Subsequently, we study generalization guarantees on meta-learning optimal hyperparameters for the LGD algorithm from a given set of tasks in the data-driven setting. For a number of parameters $d$ and hyperparameter dimension $h$, we show a pseudo-dimension bound of $O(dh)$, upto logarithmic terms under mild assumptions on LGD. This matches the dimensional dependence of the bounds obtained in prior work for the elastic net, which only allows for $h=2$ hyperparameters, and extends their bounds to regression on convex loss. Finally, we show empirical evidence of the success of LGD and the meta-learning procedure for few-shot learning on linear regression using a few synthetically created datasets.
- Abstract（参考訳）: 我々はハイパーパラメータチューニングのレンズを用いて回帰問題を学習する学習について研究する。
本稿では,Langevin Gradient Descent Algorithm (LGD)を提案する。
本稿では,LGDアルゴリズムがベイズの2乗損失に対する最適解を実現するための最適パラメータ構成の存在を証明した。
次に,データ駆動環境におけるタスクセットからLGDアルゴリズムのメタラーニング最適ハイパーパラメータの一般化保証について検討した。
パラメータ $d$ および超パラメータ次元 $h$ に対して、LGD 上の穏やかな仮定の下で対数項への擬次元境界 $O(dh)$ を示す。
これは、弾性ネットの以前の作業で得られた境界の次元的依存と一致し、これは$h=2$ハイパーパラメータしか許容せず、凸損失の回帰にその境界を拡張できる。
最後に,LGDの成功の実証的証拠と,数個の合成データセットを用いた線形回帰学習のためのメタラーニング手法を示す。
関連論文リスト
- Estimation of Toeplitz Covariance Matrices using Overparameterized Gradient Descent [1.7188280334580195]
単純降下レンズ(GD)によるToeplitz共分散推定の再検討
K = P$ のとき、GD は準最適解に収束する。
本稿では,振幅と周波数の学習率の異なる高速なGD変種を提案する。
論文 参考訳（メタデータ） (2025-11-03T14:07:53Z) - Closed-Form Last Layer Optimization [72.49151473937319]
正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。
これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
論文 参考訳（メタデータ） (2025-10-06T09:14:39Z) - Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳（メタデータ） (2024-10-03T17:06:06Z) - Derivatives of Stochastic Gradient Descent in parametric optimization [16.90974792716146]
グラディエントDescent (SGD) の反復剤の誘導体の挙動について検討する。
元のSGDの収束によって摂動される異なる目的関数上の不正確なSGDによって駆動されることを示す。
具体的には、定常的なステップサイズでは、これらの導関数は解導関数を中心とするノイズボール内で安定化し、消滅したステップサイズでは$O(log(k)2 / k)$収束率を示すことを示した。
論文 参考訳（メタデータ） (2024-05-24T19:32:48Z) - Parameter-Agnostic Optimization under Relaxed Smoothness [25.608968462899316]
本研究では,モメンタムを用いた正規化グラディエントDescence (NSGD-M) が,問題パラメータの事前知識を必要とせずに,速度-最適の複雑性を実現できることを示す。
決定論的設定では、指数係数は、バックトラックラインサーチによるグラディエント・ディクスト(Gradient Descent)を用いることで、中和することができる。
論文 参考訳（メタデータ） (2023-11-06T16:39:53Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Provably tuning the ElasticNet across instances [53.0518090093538]
我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。
我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
論文 参考訳（メタデータ） (2022-07-20T21:22:40Z) - An Exponentially Increasing Step-size for Parameter Estimation in
Statistical Models [37.63410634069547]
本稿では,ガウス降下(GD)アルゴリズムのステップサイズを指数関数的に増加させることを提案する。
次に、非正規統計モデルの下でパラメータ推定を解くためのEGDアルゴリズムについて検討する。
EGDアルゴリズムの総計算複雑性は、非正則統計モデルにおけるパラメータ推定の解法として、GDよりも最適で指数関数的に安価である。
論文 参考訳（メタデータ） (2022-05-16T21:36:22Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳（メタデータ） (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。