論文の概要: Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2404.03211v5
- Date: Tue, 23 Sep 2025 06:21:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.348394
- Title: Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- Title（参考訳）: 非定常データを用いたカーネルヒルベルト空間のオンライン正規化統計的学習
- Authors: Xiwei Zhang, Yan Chen, Tao Li,
- Abstract要約: 本研究では,オンラインデータストリームに依存しないカーネル空間における再帰正規化学習アルゴリズムの収束性について検討する。
独立および非独立に分散されたデータストリームに対して、アルゴリズムは、入力データの限界確率測度が徐々に時間変化している場合、平均二乗整合を達成する。
- 参考スコア（独自算出の注目度）: 6.688386258466601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the convergence of recursive regularized learning algorithms in the reproducing kernel Hilbert space (RKHS) with dependent and non-stationary online data streams. Firstly, we introduce the concept of random Tikhonov regularization path and decompose the tracking error of the algorithm's output for the regularization path into random difference equations in RKHS, whose non-homogeneous terms are martingale difference sequences. Investigating the mean square asymptotic stability of the equations, we show that if the regularization path is slowly time-varying, then the algorithm's output achieves mean square consistency with the regularization path. Leveraging operator theory, particularly the monotonicity of the inverses of operators and the spectral decomposition of compact operators, we introduce the RKHS persistence of excitation condition (i.e. there exists a fixed-length time period, such that the conditional expectation of the operators induced by the input data accumulated over every period has a uniformly strictly positive compact lower bound) and develop a dominated convergence method to prove the mean square consistency between the algorithm's output and an unknown function. Finally, for independent and non-identically distributed data streams, the algorithm achieves the mean square consistency if the input data's marginal probability measures are slowly time-varying and the average measure over each fixed-length time period has a uniformly strictly positive lower bound.
- Abstract（参考訳）: 本研究では,RKHS空間における再帰的正規化学習アルゴリズムの収束性について検討した。
まず、ランダムなTikhonov正規化パスの概念を導入し、正規化パスに対するアルゴリズムの出力の追跡誤差をRKHSのランダムな差分方程式に分解する。
方程式の平均二乗漸近安定性を調べたところ、正則化経路が徐々に変化している場合、アルゴリズムの出力は正則化経路と平均二乗整合が得られることがわかった。
作用素論、特に作用素の逆数とコンパクト作用素のスペクトル分解の単調性を活用して、励起条件のRKHS持続性(すなわち、各周期で蓄積された入力データによって誘導される作用素の条件的期待値が一様に正のコンパクトな下界を持つような固定長の時間周期が存在する)を導入し、アルゴリズムの出力と未知の関数の間の平均二乗一貫性を証明する収束法を開発する。
最後に、独立および非独立分散データストリームに対して、入力データの限界確率測度が徐々に時間変化し、各固定期間の平均測度が一様正の正の下位境界を持つ場合、平均二乗整合を達成する。
関連論文リスト
- Asymptotic Time-Uniform Inference for Parameters in Averaged Stochastic Approximation [23.89036529638614]
近似(SA)におけるパラメータの時間一様統計的推測について検討する。
線形および非線形のSA問題の両方において,平均的反復のほぼ無限収束率をガウスのスケールした和に解析する。
論文 参考訳（メタデータ） (2024-10-19T10:27:26Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Decentralized Online Learning for Random Inverse Problems Over Graphs [6.423798607256407]
ヒルベルト空間におけるアルゴリズムの安定性の収束性は、$_$-bounded martingale difference 項で表される。
ネットワークグラフが連結され、フォワード演算子の列が励起条件の無限次元時間持続性を満たすなら、全てのノードの推定は平均平方である。
非定常オンラインデータに基づく分散オンライン学習アルゴリズムをRKHSで提案する。
論文 参考訳（メタデータ） (2023-03-20T08:37:08Z) - Decentralized Online Regularized Learning Over Random Time-Varying Graphs [4.065547532041163]
ランダムな時間変化グラフを用いたオンライン正規化線形回帰アルゴリズムを開発した。
後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数である。
さらに、後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数であることを示す。
論文 参考訳（メタデータ） (2022-06-07T12:55:08Z) - Spatio-Temporal Variational Gaussian Processes [26.60276485130467]
時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。
還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。
分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
論文 参考訳（メタデータ） (2021-11-02T16:53:31Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。