論文の概要: Generalization in Supervised Learning Through Riemannian Contraction
- arxiv url: http://arxiv.org/abs/2201.06656v1
- Date: Mon, 17 Jan 2022 23:08:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-20 04:39:04.660109
- Title: Generalization in Supervised Learning Through Riemannian Contraction
- Title（参考訳）: リーマン収縮による教師付き学習の一般化
- Authors: Leo Kozachkov, Patrick M. Wensing, Jean-Jacques Slotine
- Abstract要約: 教師付き学習環境では、計量 0 がアセシアンレート $lambda で収縮している場合、それは一様に$math であることを示す。
結果は、連続および安定な $-time において、勾配と決定論的損失曲面を保っている。
それらは、Descent$凸面や強い凸損失面など、ある種の線形な設定で最適であることを示すことができる。
- 参考スコア（独自算出の注目度）: 4.3604518673788135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove that Riemannian contraction in a supervised learning setting implies
generalization. Specifically, we show that if an optimizer is contracting in
some Riemannian metric with rate $\lambda > 0$, it is uniformly algorithmically
stable with rate $\mathcal{O}(1/\lambda n)$, where $n$ is the number of
labelled examples in the training set. The results hold for stochastic and
deterministic optimization, in both continuous and discrete-time, for convex
and non-convex loss surfaces. The associated generalization bounds reduce to
well-known results in the particular case of gradient descent over convex or
strongly convex loss surfaces. They can be shown to be optimal in certain
linear settings, such as kernel ridge regression under gradient flow.
- Abstract（参考訳）: 教師付き学習集合におけるリーマン収縮が一般化を意味することを証明する。
具体的には、オプティマイザがレート $\lambda > 0$ のあるリーマン計量で収縮している場合、レート $\mathcal{o}(1/\lambda n)$ で一様に安定であり、ここで $n$ はトレーニングセット内のラベル付き例の数である。
その結果、凸面と非凸面の連続時間と離散時間の両方において確率的および決定論的最適化が達成される。
関連する一般化境界は、凸面や強い凸損失面上の勾配降下の場合、よく知られた結果に還元される。
勾配流下でのカーネルリッジ回帰のような特定の線形設定で最適であることを示すことができる。
関連論文リスト
- Convergence and Complexity Guarantee for Inexact First-order Riemannian Optimization Algorithms [18.425648833592312]
tBMM は $O(epsilon-2)$ 内の $ilon$-定常点に収束することを示す。
軽度反復の下では、全最適性ギャップが有界である場合、各反復においてサブプロブレムが解かれるときの結果は依然として保たれる。
論文 参考訳（メタデータ） (2024-05-05T22:53:14Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Randomized Coordinate Subgradient Method for Nonsmooth Composite
Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文 参考訳（メタデータ） (2022-06-30T02:17:11Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization
under Infinite Noise Variance [17.199063087458907]
我々は一様凸ミラーマップのクラスを用いてミラーDescentアルゴリズムの収束率を定量化する。
このアルゴリズムは明確な勾配クリッピングや正規化を必要としない。
我々は,1次オラクルのみを用いた他のアルゴリズムでは改善率を達成できないことを示す情報理論の下界を補完する。
論文 参考訳（メタデータ） (2022-02-23T17:08:40Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Curvature-Dependant Global Convergence Rates for Optimization on
Manifolds of Bounded Geometry [6.85316573653194]
1-有界幾何多様体上で定義される弱凸函数に対する曲率依存性収束率を与える。
最適化文献でよく用いられる多様体に対して、これらの境界を明示的に計算する。
指数写像の微分のノルムに完全一般境界の自己完備証明を与える。
論文 参考訳（メタデータ） (2020-08-06T08:30:35Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。