論文の概要: Learning Operators with Stochastic Gradient Descent in General Hilbert Spaces

• arxiv url: http://arxiv.org/abs/2402.04691v2
• Date: Tue, 13 Feb 2024 08:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 18:04:16.318221
• Title: Learning Operators with Stochastic Gradient Descent in General Hilbert Spaces
• Title（参考訳）: 一般ヒルベルト空間における確率勾配Descenceを用いた演算子学習
• Authors: Lei Shi and Jia-Qi Yang
• Abstract要約: 本研究では、一般ヒルベルト空間間の作用素の学習に勾配降下(SGD)を活用することを検討する。 我々は、SGDアルゴリズムの収束率の上限を確立し、最小限の低境界解析を行う。 ベクトル値および実値のカーネルヒルベルト空間に基づく演算子学習問題への解析の適用により、新たな収束結果が得られる。
• 参考スコア（独自算出の注目度）: 6.690174942973101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates leveraging stochastic gradient descent (SGD) to learn operators between general Hilbert spaces. We propose weak and strong regularity conditions for the target operator to depict its intrinsic structure and complexity. Under these conditions, we establish upper bounds for convergence rates of the SGD algorithm and conduct a minimax lower bound analysis, further illustrating that our convergence analysis and regularity conditions quantitatively characterize the tractability of solving operator learning problems using the SGD algorithm. It is crucial to highlight that our convergence analysis is still valid for nonlinear operator learning. We show that the SGD estimator will converge to the best linear approximation of the nonlinear target operator. Moreover, applying our analysis to operator learning problems based on vector-valued and real-valued reproducing kernel Hilbert spaces yields new convergence results, thereby refining the conclusions of existing literature.
• Abstract（参考訳）: 本研究では、確率勾配勾配(SGD)を利用して一般ヒルベルト空間間の作用素を学習する。 対象演算子が固有構造と複雑性を表現するための弱かつ強正則性条件を提案する。 これらの条件下では、SGDアルゴリズムの収束率の上限を確立し、最小限の低境界解析を行い、さらに、収束解析と規則性条件により、SGDアルゴリズムを用いた演算子学習問題のトラクタビリティを定量的に特徴づける。 非線形演算子学習には, 収束解析が依然として有効であることが重要である。 SGD推定器は非線形対象作用素の最適線形近似に収束することを示す。 さらに、ベクトル値および実数値再生カーネルヒルベルト空間に基づく演算子学習問題に対する解析の適用により、新たな収束結果が得られ、既存の文献の結論が洗練される。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
  本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。 我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。 我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T01:17:15Z)
• On the Convergence of Stochastic Gradient Descent for Linear Inverse Problems in Banach Spaces [0.0]
  勾配降下(SGD)は機械学習において最も成功した最適化手法の1つとして確立されている。 一般バナッハ空間における線形逆問題に対するSGDの新しい収束解析を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:00:49Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Convergence Rates for Learning Linear Operators from Noisy Data [6.4423565043274795]
  本研究では,空間上の線形演算子を学習する逆問題について,ランダムな入力データに対する雑音の多い点評価から検討する。 ボヒナーノルムの族に対する後部収縮速度は、推定誤差よりも無限小の傾向にあるため確立する。 これらの収束速度は、有界あるいはコンパクトな作用素の学習と比較して線形作用素の学習の難しさを強調し、定量化する。
  論文  参考訳（メタデータ） (2021-08-27T22:09:53Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。