論文の概要: Optimality of Robust Online Learning

• arxiv url: http://arxiv.org/abs/2304.10060v1
• Date: Thu, 20 Apr 2023 03:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:39:18.251172
• Title: Optimality of Robust Online Learning
• Title（参考訳）: ロバストオンライン学習の最適性
• Authors: Zheng-Chu Guo, Andreas Christmann, Lei Shi
• Abstract要約: 再生カーネルヒルベルト空間(RKHS)上の回帰のために,ロバストな損失関数$mathcalL_sigma$を用いたオンライン学習アルゴリズムについて検討する。 提案アルゴリズムは,条件付き平均関数の推定を目的としたオンライン最小二乗回帰の頑健な代替手段である。
• 参考スコア（独自算出の注目度）: 4.21768682940933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study an online learning algorithm with a robust loss function $\mathcal{L}_{\sigma}$ for regression over a reproducing kernel Hilbert space (RKHS). The loss function $\mathcal{L}_{\sigma}$ involving a scaling parameter $\sigma>0$ can cover a wide range of commonly used robust losses. The proposed algorithm is then a robust alternative for online least squares regression aiming to estimate the conditional mean function. For properly chosen $\sigma$ and step size, we show that the last iterate of this online algorithm can achieve optimal capacity independent convergence in the mean square distance. Moreover, if additional information on the underlying function space is known, we also establish optimal capacity dependent rates for strong convergence in RKHS. To the best of our knowledge, both of the two results are new to the existing literature of online learning.
• Abstract（参考訳）: 本稿では、再生カーネルヒルベルト空間(RKHS)上の回帰のために、ロバストな損失関数 $\mathcal{L}_{\sigma}$ を用いたオンライン学習アルゴリズムについて検討する。 スケーリングパラメータ $\sigma>0$ を含む損失関数 $\mathcal{l}_{\sigma}$ は、一般的に使用されるロバストな損失の範囲をカバーすることができる。 提案手法は条件平均関数の推定を目的としたオンライン最小二乗回帰のロバストな代替手法である。 適切に選択された$\sigma$ とステップサイズに対して、このオンラインアルゴリズムの最後の反復によって平均平方距離における最適な容量独立収束が得られることを示す。 さらに、基礎となる関数空間に関する追加情報が知られている場合、RKHSの強い収束のために最適なキャパシティ依存率を確立する。 我々の知る限りでは、この2つの結果は既存のオンライン学習の文献に新しいものである。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Convergence analysis of online algorithms for vector-valued kernel regression [0.42970700836450487]
  オンライン学習アルゴリズムを用いて雑音の多いベクトル値データから回帰関数を近似する問題を考察する。 RKHSノルムの期待二乗誤差は$C2 (m+1)-s/(2+s)$でバウンドできることを示し、$m$は現在の処理データの数である。
  論文  参考訳（メタデータ） (2023-09-14T15:10:47Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Refined Regret for Adversarial MDPs with Linear Function Approximation [50.00022394876222]
  我々は,損失関数が約1,300ドル以上のエピソードに対して任意に変化するような,敵対的決定過程(MDP)の学習を検討する。 本稿では,同じ設定で$tildemathcal O(K2/3)$に対する後悔を改善する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T14:37:21Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Efficient Online-Bandit Strategies for Minimax Learning Problems [21.300877551771197]
  いくつかの学習問題は、例えば、実験的な分散ロバスト学習や、非標準集約的損失による最小化といった、min-max問題の解決に関係している。 具体的には、これらの問題は、モデルパラメータ$winmathcalW$と、トレーニングセットの実証分布$pinmathcalK$で学習を行う凸線型問題である。 効率的な手法を設計するために、オンライン学習アルゴリズムを(組合せ)帯域幅アルゴリズムと対戦させる。
  論文  参考訳（メタデータ） (2021-05-28T16:01:42Z)
• An $L^2$ Analysis of Reinforcement Learning in High Dimensions with Kernel and Neural Network Approximation [9.088303226909277]
  本稿では,カーネル法や2層ニューラルネットワークモデルを用いて関数近似を行う状況について考察する。 私たちは$tildeO(H3|mathcal A|frac14n-frac14)$を$Hn$サンプルで最適なポリシーにバインドします。 この結果はまだ有限次元の作用空間を必要とするが、誤差境界は状態空間の次元とは独立である。
  論文  参考訳（メタデータ） (2021-04-15T21:59:03Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Statistical-Query Lower Bounds via Functional Gradients [19.5924910463796]
  我々は、寛容$n- (1/epsilon)b$の統計クエリアルゴリズムは、一定の$bに対して少なくとも$2nc epsilon$クエリを使用する必要があることを示す。 実数値学習では珍しいSQ学習アルゴリズムが一般的である(相関学習とは対照的に)。
  論文  参考訳（メタデータ） (2020-06-29T05:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。