論文の概要: Basic Inequalities for First-Order Optimization with Applications to Statistical Risk Analysis
- arxiv url: http://arxiv.org/abs/2512.24999v1
- Date: Wed, 31 Dec 2025 17:49:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.729412
- Title: Basic Inequalities for First-Order Optimization with Applications to Statistical Risk Analysis
- Title（参考訳）: 1次最適化のための基本的不等式と統計的リスク解析への応用
- Authors: Seunghoon Paik, Kangjie Zhou, Matus Telgarsky, Ryan J. Tibshirani,
- Abstract要約: 本稿では,一階反復最適化アルゴリズムのテキスト型不等式を導入し,暗黙的かつ明示的な正規化を結び付けるシンプルで汎用的なフレームワークを構築した。
文献には関連する不等式が現れるが、特定の形態を分離して強調し、統計的解析のための十分に取り巻かれたツールとして開発する。
- 参考スコア（独自算出の注目度）: 17.699177900632456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce \textit{basic inequalities} for first-order iterative optimization algorithms, forming a simple and versatile framework that connects implicit and explicit regularization. While related inequalities appear in the literature, we isolate and highlight a specific form and develop it as a well-rounded tool for statistical analysis. Let $f$ denote the objective function to be optimized. Given a first-order iterative algorithm initialized at $θ_0$ with current iterate $θ_T$, the basic inequality upper bounds $f(θ_T)-f(z)$ for any reference point $z$ in terms of the accumulated step sizes and the distances between $θ_0$, $θ_T$, and $z$. The bound translates the number of iterations into an effective regularization coefficient in the loss function. We demonstrate this framework through analyses of training dynamics and prediction risk bounds. In addition to revisiting and refining known results on gradient descent, we provide new results for mirror descent with Bregman divergence projection, for generalized linear models trained by gradient descent and exponentiated gradient descent, and for randomized predictors. We illustrate and supplement these theoretical findings with experiments on generalized linear models.
- Abstract（参考訳）: 本稿では,一階反復最適化アルゴリズムに対する「textit{basic inequalities}」を導入し,暗黙的かつ明示的な正規化を結び付けるシンプルで汎用的なフレームワークを構築した。
文献には関連する不等式が現れるが、特定の形態を分離して強調し、統計的解析のための十分に取り巻かれたツールとして開発する。
f$ は最適化すべき目的関数を表す。
1次反復アルゴリズムが$θ_0$で初期化され、現在のイテレートが$θ_T$となると、累積ステップサイズと$θ_0$、$θ_T$、$z$の間の距離で、任意の基準点$z$に対して、基本的な不等式上界$f(θ_T)-f(z)$が$f(θ_T)となる。
境界は、繰り返しの数を損失関数の有効正則化係数に変換する。
我々は,この枠組みを,トレーニング力学と予測リスク境界の分析を通じて実証する。
勾配降下に関する既知結果の再検討と精錬に加えて,ブレグマン偏差予測を用いたミラー降下,勾配降下と指数勾配降下を訓練した一般化線形モデル,ランダム化予測器などの新しい結果も提供する。
一般化線形モデルに関する実験により, これらの理論結果について説明し, 補足する。
関連論文リスト
- Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。
本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文 参考訳（メタデータ） (2025-06-02T17:34:29Z) - Uncertainty quantification for iterative algorithms in linear models with application to early stopping [4.150180443030652]
本稿では,高次元線形回帰問題における反復アルゴリズムから得られた繰り返し$hbb1,dots,hbbT$について検討する。
解析および提案した推定器は、GD(Gradient Descent)、GD(GD)およびFast Iterative Soft-Thresholding(FISTA)などの加速変種に適用できる。
論文 参考訳（メタデータ） (2024-04-27T10:20:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2022-05-14T18:03:48Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic
Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。
ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。
代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文 参考訳（メタデータ） (2020-06-26T15:19:43Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。