論文の概要: A hierarchical Vovk-Azoury-Warmuth forecaster with discounting for online regression in RKHS

• arxiv url: http://arxiv.org/abs/2506.22631v1
• Date: Fri, 27 Jun 2025 20:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.491538
• Title: A hierarchical Vovk-Azoury-Warmuth forecaster with discounting for online regression in RKHS
• Title（参考訳）: RKHSにおけるオンライン回帰のための割引付き階層型Vovk-Azoury-Warmuth予測器
• Authors: Dmitry B. Rokhlin,
• Abstract要約: 再生ケルネルヒルベルト空間(RKHS)の時間変化関数列に対する制約のない二次的損失を伴うオンライン回帰問題について検討する。 そこで本研究では,ディスカウント係数とランダムな特徴数の両方を学習する完全適応型階層型アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of online regression with the unconstrained quadratic loss against a time-varying sequence of functions from a Reproducing Kernel Hilbert Space (RKHS). Recently, Jacobsen and Cutkosky (2024) introduced a discounted Vovk-Azoury-Warmuth (DVAW) forecaster that achieves optimal dynamic regret in the finite-dimensional case. In this work, we lift their approach to the non-parametric domain by synthesizing the DVAW framework with a random feature approximation. We propose a fully adaptive, hierarchical algorithm, which we call H-VAW-D (Hierarchical Vovk-Azoury-Warmuth with Discounting), that learns both the discount factor and the number of random features. We prove that this algorithm, which has a per-iteration computational complexity of $O(T\ln T)$, achieves an expected dynamic regret of $O(T^{2/3}P_T^{1/3} + \sqrt{T}\ln T)$, where $P_T$ is the functional path length of a comparator sequence.
• Abstract（参考訳）: 再現ケルネルヒルベルト空間(RKHS)の時間変化関数列に対する制約のない二次的損失を伴うオンライン回帰問題について検討する。 最近、Jacobsen と Cutkosky (2024) は、有限次元の場合の最適動的後悔を実現する割引された Vovk-Azoury-Warmuth (DVAW) 予測器を導入した。 本研究では,DVAWフレームワークをランダムな特徴近似で合成することにより,非パラメトリック領域へのアプローチを引き上げる。 本稿では,H-VAW-D (hierarchical Vovk-Azoury-Warmuth with Discounting) と呼ばれる完全適応型階層型アルゴリズムを提案する。 このアルゴリズムは,$O(T^{2/3}P_T^{1/3} + \sqrt{T}\ln T)$で,$P_T$はコンパレータ列の関数パス長である。

関連論文リスト

• Random feature-based double Vovk-Azoury-Warmuth algorithm for online multi-kernel learning [0.0]
  再生カーネルヒルベルト空間(RKHS)における最小二乗回帰のための新しいマルチカーネル学習アルゴリズムVAW$2$を導入する。 VAW$2$は、ランダムフーリエ特徴量に基づく関数近似とVovk-Azoury-Warmuth (VAW) 法を2段階の手順で活用する。 理論的解析により、ランダムな特徴の数が$T1/2$となるとき、人工的ランダム性に関して予想される$O(T1/2ln T)$の後悔境界が得られる。
  論文  参考訳（メタデータ） (2025-03-25T21:57:35Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Kernel $ε$-Greedy for Multi-Armed Bandits with Covariates [5.115048067424624]
  オンライン重み付きカーネルリッジ回帰推定器を用いて、未知の平均報酬関数を推定する。 カーネルの任意の選択と対応するRKHSに対して、RKHSの内在的次元に依存するサブ線形後悔率を達成することを示す。
  論文  参考訳（メタデータ） (2023-06-29T22:48:34Z)
• Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR [13.165557713537389]
  我々は、強い適応性(SA)アルゴリズムを、動的後悔を制御するための原則的な方法と見なせることを示した。 我々は,オンラインKernel Ridge Regression(KRR)の最小限の最適性を確立する,ある罰則による新たな下限を導出する。
  論文  参考訳（メタデータ） (2021-11-22T21:52:47Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。