論文の概要: Convergence Conditions of Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2404.03211v4
- Date: Sun, 9 Jun 2024 13:11:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 00:24:28.984522
- Title: Convergence Conditions of Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- Title(参考訳): 非定常データを用いたカーネルヒルベルト空間再現におけるオンライン正規化統計的学習の収束条件
- Authors: Xiwei Zhang, Tao Li,
- Abstract要約: 本研究では,HilbertRKHSにおける正規化学習アルゴリズムの収束性について検討した。
独立および非独立に分散したデータストリームに対して、アルゴリズムは平均二乗一貫性を達成する。
- 参考スコア(独自算出の注目度): 4.5692679976952215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the convergence of recursive regularized learning algorithms in the reproducing kernel Hilbert space (RKHS) with dependent and non-stationary online data streams. Firstly, we study the mean square asymptotic stability of a class of random difference equations in RKHS, whose non-homogeneous terms are martingale difference sequences dependent on the homogeneous ones. Secondly, we introduce the concept of random Tikhonov regularization path, and show that if the regularization path is slowly time-varying in some sense, then the output of the algorithm is consistent with the regularization path in mean square. Furthermore, if the data streams also satisfy the RKHS persistence of excitation condition, i.e. there exists a fixed length of time period, such that the conditional expectation of the operators induced by the input data accumulated over every time period has a uniformly strictly positive compact lower bound in the sense of the operator order with respect to time, then the output of the algorithm is consistent with the unknown function in mean square. Finally, for the case with independent and non-identically distributed data streams, the algorithm achieves the mean square consistency provided the marginal probability measures induced by the input data are slowly time-varying and the average measure over each fixed-length time period has a uniformly strictly positive lower bound.
- Abstract(参考訳): 本研究では,RKHS空間における再帰的正規化学習アルゴリズムの収束性について検討した。
まず,RKHSにおけるランダム差分方程式の平均二乗漸近安定性について検討する。
第2に,ランダムなチコノフ正規化経路の概念を導入し,正規化経路が何らかの意味でゆっくりと時間変化している場合,アルゴリズムの出力は平均二乗の正規化経路と一致していることを示す。
さらに、データストリームが励起条件のRKHS持続性も満たしている場合、すなわち、時間経過毎に蓄積される入力データによって誘導される演算子の条件的期待値が、時間的な演算子の順序という意味で一様に正のコンパクトな下限を持つような一定期間の時間が存在する場合、アルゴリズムの出力は平均二乗の未知関数と整合する。
最後に、独立および非同一分散データストリームの場合、入力データによって誘導される限界確率測度が徐々に時間変化し、各固定期間の平均測度が一様正の正下限を有する場合、平均二乗整合をアルゴリズムが達成する。
関連論文リスト
- Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Random Inverse Problems Over Graphs: Decentralized Online Learning [4.5692679976952215]
ネットワークグラフ上の分散ランダム逆問題とオンライン計測のフレームワークを構築した。
無限ヒルベルト空間におけるL2-漸近安定理論を開発する。
非定常および非独立オンラインデータに基づく分散オンライン学習アルゴリズムをRKHSで提案する。
論文 参考訳(メタデータ) (2023-03-20T08:37:08Z) - Boosting the Confidence of Generalization for $L_2$-Stable Randomized
Learning Algorithms [41.082982732100696]
適切に設計されたサブバッグプロセスは、データとアルゴリズムの両方にほぼ28の指数関数的一般化バウンダリをもたらすことを示す。
さらに、自然減衰学習率を持つ凸問題や非重み付き問題に対する高確率一般化境界を改善するために、総合的な結果を導出する。
論文 参考訳(メタデータ) (2022-06-08T12:14:01Z) - Decentralized Online Regularized Learning Over Random Time-Varying Graphs [4.065547532041163]
ランダムな時間変化グラフを用いたオンライン正規化線形回帰アルゴリズムを開発した。
後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数である。
さらに、後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数であることを示す。
論文 参考訳(メタデータ) (2022-06-07T12:55:08Z) - Spatio-Temporal Variational Gaussian Processes [26.60276485130467]
時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。
還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。
分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
論文 参考訳(メタデータ) (2021-11-02T16:53:31Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳(メタデータ) (2021-01-16T17:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。