論文の概要: Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2404.03211v6
- Date: Thu, 23 Oct 2025 08:32:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:01.670879
- Title: Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
- Title（参考訳）: 非定常データを用いたカーネルヒルベルト空間のオンライン正規化統計的学習
- Authors: Xiwei Zhang, Yan Chen, Tao Li,
- Abstract要約: 非定常オンラインデータストリームを用いた再生カーネルヒルベルト空間(RKHS)における正規化学習アルゴリズムについて検討した。
正則化経路が徐々に変化している場合,追跡誤差は平均正方形で消失することを示す。
- 参考スコア（独自算出の注目度）: 6.688386258466601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study recursive regularized learning algorithms in the reproducing kernel Hilbert space (RKHS) with non-stationary online data streams. We introduce the concept of random Tikhonov regularization path and decompose the tracking error of the algorithm's output for the regularization path into random difference equations in RKHS. We show that the tracking error vanishes in mean square if the regularization path is slowly time-varying. Then, leveraging the monotonicity of inverse operators and the spectral decomposition of compact operators, and introducing the RKHS persistence of excitation condition, we develop a dominated convergence method to prove the mean square consistency between the regularization path and the unknown function to be learned. Especially, for independent and non-identically distributed data streams, the mean square consistency between the algorithm's output and the unknown function is achieved if the input data's marginal probability measures are slowly time-varying and the average measure over each fixed-length time period has a uniformly strictly positive lower bound.
- Abstract（参考訳）: 非定常オンラインデータストリームを用いた再現カーネルHilbert空間(RKHS)における再帰正規化学習アルゴリズムについて検討した。
本稿では,ランダムなTikhonov正規化パスの概念を導入し,正規化パスに対するアルゴリズムの出力の追跡誤差をRKHSのランダムな差分方程式に分解する。
正規化経路が徐々に変化している場合,追跡誤差は平均正方形で消失することを示す。
そして、逆作用素の単調性とコンパクト作用素のスペクトル分解を活用し、励起条件のRKHS持続性を導入し、正規化パスと未知関数の間の平均二乗整合性を証明する支配収束法を開発する。
特に、独立および非同一分散データストリームでは、入力データの限界確率測度が徐々に時間変化し、各固定期間の平均測度が一様正の正の低境界を持つ場合、アルゴリズムの出力と未知関数との平均二乗整合が達成される。
関連論文リスト
- Asymptotic Time-Uniform Inference for Parameters in Averaged Stochastic Approximation [23.89036529638614]
近似(SA)におけるパラメータの時間一様統計的推測について検討する。
線形および非線形のSA問題の両方において,平均的反復のほぼ無限収束率をガウスのスケールした和に解析する。
論文 参考訳（メタデータ） (2024-10-19T10:27:26Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Decentralized Online Learning for Random Inverse Problems Over Graphs [6.423798607256407]
ヒルベルト空間におけるアルゴリズムの安定性の収束性は、$_$-bounded martingale difference 項で表される。
ネットワークグラフが連結され、フォワード演算子の列が励起条件の無限次元時間持続性を満たすなら、全てのノードの推定は平均平方である。
非定常オンラインデータに基づく分散オンライン学習アルゴリズムをRKHSで提案する。
論文 参考訳（メタデータ） (2023-03-20T08:37:08Z) - Decentralized Online Regularized Learning Over Random Time-Varying Graphs [4.065547532041163]
ランダムな時間変化グラフを用いたオンライン正規化線形回帰アルゴリズムを開発した。
後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数である。
さらに、後悔の上限は$O(T1-tauln T)$であり、$tauin (0.5,1)$はアルゴリズムのゲインに依存する定数であることを示す。
論文 参考訳（メタデータ） (2022-06-07T12:55:08Z) - Spatio-Temporal Variational Gaussian Processes [26.60276485130467]
時空間フィルタリングと自然変動推論を組み合わせたガウス過程推論にスケーラブルなアプローチを導入する。
還元された誘導点集合上で状態空間モデルを構成するスパース近似を導出する。
分離可能なマルコフカーネルの場合、完全スパースケースは標準変分GPを正確に回復する。
論文 参考訳（メタデータ） (2021-11-02T16:53:31Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。