論文の概要: Non-stationary Online Regression

• arxiv url: http://arxiv.org/abs/2011.06957v1
• Date: Fri, 13 Nov 2020 15:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:56:04.289501
• Title: Non-stationary Online Regression
• Title（参考訳）: 非定常オンライン回帰
• Authors: Anant Raj, Pierre Gaillard (SIERRA, Thoth), Christophe Saad (CMU)
• Abstract要約: 1次元時系列のオンライン予測の結果を、一般的な$d$次元の非定常線形回帰に拡張する。 非定常オンライン回帰の場合と同様に、Zhangらによる2017年のメタプロデューサとKernel-AWVを組み合わせて使用します。
• 参考スコア（独自算出の注目度）: 6.877126811868359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online forecasting under a changing environment has been a problem of increasing importance in many real-world applications. In this paper, we consider the meta-algorithm presented in \citet{zhang2017dynamic} combined with different subroutines. We show that an expected cumulative error of order $\tilde{O}(n^{1/3} C_n^{2/3})$ can be obtained for non-stationary online linear regression where the total variation of parameter sequence is bounded by $C_n$. Our paper extends the result of online forecasting of one-dimensional time-series as proposed in \cite{baby2019online} to general $d$-dimensional non-stationary linear regression. We improve the rate $O(\sqrt{n C_n})$ obtained by Zhang et al. 2017 and Besbes et al. 2015. We further extend our analysis to non-stationary online kernel regression. Similar to the non-stationary online regression case, we use the meta-procedure of Zhang et al. 2017 combined with Kernel-AWV (Jezequel et al. 2020) to achieve an expected cumulative controlled by the effective dimension of the RKHS and the total variation of the sequence. To the best of our knowledge, this work is the first extension of non-stationary online regression to non-stationary kernel regression. Lastly, we evaluate our method empirically with several existing benchmarks and also compare it with the theoretical bound obtained in this paper.
• Abstract（参考訳）: 変化する環境下でのオンライン予測は、多くの現実世界のアプリケーションで重要性を増している問題である。 本稿では,異なるサブルーチンと組み合わせて,‘citet{zhang2017dynamic} で表されるメタアルゴリズムについて考察する。 パラメータ列の変動の総和が$c_n$である非定常オンライン線形回帰に対しては、$\tilde{o}(n^{1/3} c_n^{2/3})$の期待累積誤差が得られることを示す。 本稿では,1次元時系列のオンライン予測の結果を,一般のd$-dimensional non-stationary linear regressionまで拡張する。 zhang et al. 2017 と besbes et al. 2015 によって得られた $o(\sqrt{n c_n})$ を改善する。 我々はさらに解析を静止しないオンラインカーネルレグレッションに拡張する。 非定常オンライン回帰の場合と同様に、zhang et al. 2017 のメタ手続きと kernel-awv (jezequel et al. 2020) を組み合わせることで、rkhs の有効次元とシーケンス全体の変動によって制御される期待累積を達成する。 我々の知る限りでは、この研究は非定常オンライン回帰から非定常カーネル回帰への最初の拡張である。 最後に,本手法を既存のベンチマークと実証的に評価し,本論文で得られた理論的境界との比較を行った。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Online and Offline Robust Multivariate Linear Regression [0.3277163122167433]
  提案手法は,オンライン勾配降下アルゴリズムと平均化バージョン,オフライン固定点アルゴリズムの2つである。 ノイズの分散行列は一般に未知であるため、マハラノビスに基づく勾配勾配アルゴリズムに頑健な推定をプラグインすることを提案する。
  論文  参考訳（メタデータ） (2024-04-30T12:30:48Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits [88.6139446295537]
  一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。 ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。 本稿では,FTRLに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T08:25:26Z)
• Scale-free Unconstrained Online Learning for Curved Losses [1.5147172044848798]
  コンパレータのノルム$U$と勾配の最大ノルム$G$に同時に適応する可能性を検討する。 意外なことに、最近の研究では1ドル=Lipschitz損失の特定のケースにおいて、適応性に対するそのような価格が不要であることが示されている。
  論文  参考訳（メタデータ） (2022-02-11T14:10:35Z)
• Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR [13.165557713537389]
  我々は、強い適応性(SA)アルゴリズムを、動的後悔を制御するための原則的な方法と見なせることを示した。 我々は,オンラインKernel Ridge Regression(KRR)の最小限の最適性を確立する,ある罰則による新たな下限を導出する。
  論文  参考訳（メタデータ） (2021-11-22T21:52:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。