論文の概要: Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels

• arxiv url: http://arxiv.org/abs/2504.18184v1
• Date: Fri, 25 Apr 2025 08:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.708605
• Title: Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
• Title（参考訳）: 演算子評価カーネルを用いた正規化確率勾配Descenceによる演算子学習
• Authors: Jia-Qi Yang, Lei Shi,
• Abstract要約: ポーランド空間から分離可能なヒルベルト空間へ非線形作用素を推定するための正規収束エンコーダ降下(SGD)アルゴリズムについて検討する。 一般SGDスキームに対して高い確率で境界を導出する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 5.663076715852465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates regularized stochastic gradient descent (SGD) algorithms for estimating nonlinear operators from a Polish space to a separable Hilbert space. We assume that the regression operator lies in a vector-valued reproducing kernel Hilbert space induced by an operator-valued kernel. Two significant settings are considered: an online setting with polynomially decaying step sizes and regularization parameters, and a finite-horizon setting with constant step sizes and regularization parameters. We introduce regularity conditions on the structure and smoothness of the target operator and the input random variables. Under these conditions, we provide a dimension-free convergence analysis for the prediction and estimation errors, deriving both expectation and high-probability error bounds. Our analysis demonstrates that these convergence rates are nearly optimal. Furthermore, we present a new technique for deriving bounds with high probability for general SGD schemes, which also ensures almost-sure convergence. Finally, we discuss potential extensions to more general operator-valued kernels and the encoder-decoder framework.
• Abstract（参考訳）: 本稿では、ポーランド空間から分離可能なヒルベルト空間へ非線形作用素を推定するための正規化確率勾配勾配(SGD)アルゴリズムについて検討する。 回帰作用素は、作用素値のカーネルによって誘導されるベクトル値再生カーネルヒルベルト空間にあると仮定する。 多項式的に減衰するステップサイズと正規化パラメータを持つオンライン設定と、一定のステップサイズと正規化パラメータを持つ有限水平設定である。 対象演算子と入力確率変数の構造と滑らか性に関する規則性条件を導入する。 これらの条件下では、予測および推定誤差に対して次元自由収束解析を行い、予測と高確率誤差境界の両方を導出する。 我々の分析は、これらの収束速度がほぼ最適であることを示した。 さらに,一般のSGDスキームに対して高い確率で境界を導出する手法を提案する。 最後に、より一般的な演算子値カーネルとエンコーダデコーダフレームワークの拡張の可能性について論じる。

関連論文リスト

• Learning Operators with Stochastic Gradient Descent in General Hilbert Spaces [5.663076715852465]
  本研究では、一般ヒルベルト空間間の作用素の学習に勾配降下(SGD)を活用することを検討する。 我々は、SGDアルゴリズムの収束率の上限を確立し、最小限の低境界解析を行う。 ベクトル値および実値のカーネルヒルベルト空間に基づく演算子学習問題への解析の適用により、新たな収束結果が得られる。
  論文  参考訳（メタデータ） (2024-02-07T09:31:01Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Convergence Rates for Learning Linear Operators from Noisy Data [6.4423565043274795]
  本研究では,空間上の線形演算子を学習する逆問題について,ランダムな入力データに対する雑音の多い点評価から検討する。 ボヒナーノルムの族に対する後部収縮速度は、推定誤差よりも無限小の傾向にあるため確立する。 これらの収束速度は、有界あるいはコンパクトな作用素の学習と比較して線形作用素の学習の難しさを強調し、定量化する。
  論文  参考訳（メタデータ） (2021-08-27T22:09:53Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。