論文の概要: On the Convergence of Stochastic Gradient Descent for Linear Inverse Problems in Banach Spaces

• arxiv url: http://arxiv.org/abs/2302.05197v1
• Date: Fri, 10 Feb 2023 12:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 15:52:23.125026
• Title: On the Convergence of Stochastic Gradient Descent for Linear Inverse Problems in Banach Spaces
• Title（参考訳）: バナッハ空間における線形逆問題に対する確率勾配の収束性について
• Authors: Z. Kereta and B. Jin
• Abstract要約: 勾配降下(SGD)は機械学習において最も成功した最適化手法の1つとして確立されている。 一般バナッハ空間における線形逆問題に対するSGDの新しい収束解析を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we consider stochastic gradient descent (SGD) for solving linear inverse problems in Banach spaces. SGD and its variants have been established as one of the most successful optimisation methods in machine learning, imaging and signal processing, etc. At each iteration SGD uses a single datum, or a small subset of data, resulting in highly scalable methods that are very attractive for large-scale inverse problems. Nonetheless, the theoretical analysis of SGD-based approaches for inverse problems has thus far been largely limited to Euclidean and Hilbert spaces. In this work we present a novel convergence analysis of SGD for linear inverse problems in general Banach spaces: we show the almost sure convergence of the iterates to the minimum norm solution and establish the regularising property for suitable a priori stopping criteria. Numerical results are also presented to illustrate features of the approach.
• Abstract（参考訳）: 本研究では、バナッハ空間における線形逆問題の解法として確率勾配降下(SGD)を考える。 SGDとその変種は、機械学習、イメージング、信号処理などにおいて最も成功した最適化方法の1つとして確立されている。 各イテレーションでsgdは単一のデータム、あるいはデータの小さなサブセットを使用しており、大規模な逆問題に対して非常に魅力的な、高度にスケーラブルなメソッドを生み出します。 それでも、逆問題に対するSGDに基づくアプローチの理論解析は、これまではユークリッド空間とヒルベルト空間に限られてきた。 本稿では,一般バナッハ空間における線形逆問題に対するSGDの新たな収束解析について述べる。 このアプローチの特徴を説明するために、数値的な結果も提示される。

関連論文リスト

• Inverse Models for Estimating the Initial Condition of Spatio-Temporal Advection-Diffusion Processes [5.814371485767541]
  逆問題とは、観測データを用いて物理過程の未知のパラメータについて推論することである。 本稿では,空間的に疎いデータストリームを用いた時空間対流拡散過程の初期状態の推定について検討する。
  論文  参考訳（メタデータ） (2023-02-08T15:30:16Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
  ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。 いくつかの仮定の下で、提案した問題の理論的解析を行う。 実験の結果,H-SGDはSGDより優れていた。
  論文  参考訳（メタデータ） (2020-11-20T09:50:40Z)
• Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization [35.236001071182855]
  スパーシリティを誘発する正規化問題は、機械学習アプリケーションではユビキタスである。 本稿では,新しい手法として-Orthanximal Gradient Method (OBProx-SG)を提案する。
  論文  参考訳（メタデータ） (2020-04-07T18:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。