論文の概要: Adaptive Online Estimation of Piecewise Polynomial Trends

• arxiv url: http://arxiv.org/abs/2010.00073v1
• Date: Wed, 30 Sep 2020 19:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 23:08:31.627567
• Title: Adaptive Online Estimation of Piecewise Polynomial Trends
• Title（参考訳）: 区分多項式トレンドの適応オンライン推定
• Authors: Dheeraj Baby and Yu-Xiang Wang
• Abstract要約: 我々は,2乗誤差損失と雑音勾配フィードバックを伴う非定常最適化の枠組みを考察する。 非パラメトリック回帰理論から動機づけられた新しい変分制約を導入する。 我々は、同じ方針が、他のいくつかの非パラメトリックな関心の族に最適であることを示す。
• 参考スコア（独自算出の注目度）: 23.91519151164528
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the framework of non-stationary stochastic optimization [Besbes et al, 2015] with squared error losses and noisy gradient feedback where the dynamic regret of an online learner against a time varying comparator sequence is studied. Motivated from the theory of non-parametric regression, we introduce a new variational constraint that enforces the comparator sequence to belong to a discrete $k^{th}$ order Total Variation ball of radius $C_n$. This variational constraint models comparators that have piece-wise polynomial structure which has many relevant practical applications [Tibshirani, 2014]. By establishing connections to the theory of wavelet based non-parametric regression, we design a polynomial time algorithm that achieves the nearly optimal dynamic regret of $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$. The proposed policy is adaptive to the unknown radius $C_n$. Further, we show that the same policy is minimax optimal for several other non-parametric families of interest.
• Abstract（参考訳）: 我々は,オンライン学習者の時間変化コンパレータシーケンスに対する動的後悔を考慮し,二乗誤差損失と雑音勾配フィードバックを伴う非定常確率最適化(Besbes et al, 2015)の枠組みを検討する。 非パラメトリック回帰の理論から動機付けられた新しい変分制約を導入し、コンパレータ列を半径$C_n$の離散な$k^{th}$次トータル変分球に属するように強制する。 この変分制約モデルは、多くの関連する実用的応用を持つピースワイズ多項式構造を持つコンパレータである[Tibshirani, 2014]。 ウェーブレットに基づく非パラメトリック回帰の理論との接続を確立することにより、$\tilde{o}(n^{\frac{1}{2k+3}}c_n^{\frac{2}{2k+3}})$のほぼ最適な動的後悔を達成する多項式時間アルゴリズムを設計する。 提案方針は未知の半径$C_n$に適応する。 さらに、他のいくつかの非パラメトリックな関心族に対して、同じ方針が最小限最適であることを示す。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
  この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。 最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。 任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
  論文  参考訳（メタデータ） (2024-05-29T19:21:55Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Improving Adaptive Online Learning Using Refined Discretization [44.646191058243645]
  リプシッツ損失を伴う制約のないオンライン線形最適化について検討する。 インスタンス最適性の追求に動機づけられ,我々は新しいアルゴリズムを提案する。 これらの結果の中心は、オンライン学習に対する継続的な時間的アプローチである。
  論文  参考訳（メタデータ） (2023-09-27T21:54:52Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)
• $\ell_1$-norm constrained multi-block sparse canonical correlation analysis via proximal gradient descent [0.0]
  マルチブロックCCA問題を解くための近似勾配降下アルゴリズムを提案する。 得られた推定値は、適切な仮定の下では、レート最適であることが示される。 また,複数の固有ベクトルを逐次推定するデフレ手順についても述べる。
  論文  参考訳（メタデータ） (2022-01-14T03:35:01Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• A polynomial-time algorithm for learning nonparametric causal graphs [18.739085486953698]
  この分析はモデルフリーであり、線形性、付加性、独立ノイズ、忠実さを前提としない。 我々は、同値な分散を持つ線形模型の以前の研究と密接に関連する残差に条件を課す。
  論文  参考訳（メタデータ） (2020-06-22T02:21:53Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
  我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。 我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
  論文  参考訳（メタデータ） (2020-03-16T17:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。