論文の概要: Minimax Adaptive Boosting for Online Nonparametric Regression
- arxiv url: http://arxiv.org/abs/2410.03363v1
- Date: Fri, 4 Oct 2024 12:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:48:52.577713
- Title: Minimax Adaptive Boosting for Online Nonparametric Regression
- Title（参考訳）: オンライン非パラメトリック回帰のためのMinimax Adaptive Boosting
- Authors: Paul Liautaud, Pierre Gaillard, Olivier Wintenberger,
- Abstract要約: 本稿では,非パラメトリック回帰に対するパラメータフリーオンライン勾配向上アルゴリズムを提案する。
連鎖木への応用は、リプシッツ関数と競合する際の極小極小後悔を達成できることを示す。
- 参考スコア（独自算出の注目度）: 10.138723409205497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study boosting for adversarial online nonparametric regression with general convex losses. We first introduce a parameter-free online gradient boosting (OGB) algorithm and show that its application to chaining trees achieves minimax optimal regret when competing against Lipschitz functions. While competing with nonparametric function classes can be challenging, the latter often exhibit local patterns, such as local Lipschitzness, that online algorithms can exploit to improve performance. By applying OGB over a core tree based on chaining trees, our proposed method effectively competes against all prunings that align with different Lipschitz profiles and demonstrates optimal dependence on the local regularities. As a result, we obtain the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting.
- Abstract（参考訳）: 一般凸損失を伴う対向的オンライン非パラメトリック回帰の促進について検討した。
我々はまず,パラメータフリーなオンライン勾配向上アルゴリズム(OGB)を導入し,その連鎖木への応用により,リプシッツ関数と競合する際の最小限の後悔を実現することを示す。
非パラメトリック関数クラスと競合するのは難しいが、ローカルなリプシッツネスのようなローカルなパターンは、オンラインアルゴリズムがパフォーマンスを改善するために活用できる。
連鎖木に基づくコアツリーにOGBを適用することにより,異なるリプシッツプロファイルに整合したすべてのプルーニングに対して効率よく競合し,局所正規性への最適依存を示す。
その結果,オンライン回帰に対する局所的適応的最適率を持つ最初の計算効率の良いアルゴリズムが,対角的条件下で得られた。
関連論文リスト
- Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。
また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
論文 参考訳（メタデータ） (2024-06-04T06:56:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Proximal Point Imitation Learning [48.50107891696562]
我々は、無限地平線模倣学習のための厳密な効率保証を備えた新しいアルゴリズムを開発した。
我々は、最適化、特に近点法(PPM)と双対平滑化から古典的ツールを活用する。
線形関数とニューラルネットワーク関数の近似の双方に対して、説得力のある経験的性能を実現する。
論文 参考訳（メタデータ） (2022-09-22T12:40:21Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - OpReg-Boost: Learning to Accelerate Online Algorithms with Operator
Regression [5.457279006229211]
本稿では,オンライン最適化と学習アルゴリズムの収束性を高めるために,新たな正規化手法であるOpsReg-Boostを提案する。
本稿では,演算子の回帰問題を形式化し,計算効率の良いピースマン・ラフフォード解法を提案する。
論文 参考訳（メタデータ） (2021-05-27T16:17:38Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳（メタデータ） (2021-02-18T12:30:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。