論文の概要: Minimax-optimal and Locally-adaptive Online Nonparametric Regression
- arxiv url: http://arxiv.org/abs/2410.03363v2
- Date: Fri, 11 Apr 2025 12:20:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:16:47.919441
- Title: Minimax-optimal and Locally-adaptive Online Nonparametric Regression
- Title（参考訳）: Minimax-Optimal and Locally Adaptive Online Nonparametric Regression
- Authors: Paul Liautaud, Pierre Gaillard, Olivier Wintenberger,
- Abstract要約: 一般凸損失を伴う対向的オンライン非パラメトリック回帰について検討した。
パラメータフリーの学習アルゴリズムを提案する。
これらの概念をブースティングフレームワークに拡張する方法について論じる。
- 参考スコア（独自算出の注目度）: 10.138723409205497
- License:
- Abstract: We study adversarial online nonparametric regression with general convex losses and propose a parameter-free learning algorithm that achieves minimax optimal rates. Our approach leverages chaining trees to compete against H{\"o}lder functions and establishes optimal regret bounds. While competing with nonparametric function classes can be challenging, they often exhibit local patterns - such as local H{\"o}lder continuity - that online algorithms can exploit. Without prior knowledge, our method dynamically tracks and adapts to different H{\"o}lder profiles by pruning a core chaining tree structure, aligning itself with local smoothness variations. This leads to the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting. Finally, we discuss how these notions could be extended to a boosting framework, offering promising directions for future research.
- Abstract（参考訳）: 一般凸損失を伴う対向的オンライン非パラメトリック回帰について検討し,パラメータフリー学習アルゴリズムを提案する。
我々の手法は連鎖木を利用してH{\"o}lder関数と競合し、最適な後悔境界を確立する。
非パラメトリック関数クラスと競合するのは難しいが、オンラインアルゴリズムが活用できるローカルなパターン(ローカルなH{\"o}lder連続性など)をしばしば示す。
従来の知識がなければ,本手法はコア鎖木構造を解析し,局所的な滑らかさの変動と整合させることにより,異なるH{\"o}lderプロファイルを動的に追跡・適応する。
これにより、オンライン回帰に対する局所的適応的最適率を持つ最初の計算効率の良いアルゴリズムが、対向的な設定で導かれる。
最後に、これらの概念がどのようにして強化フレームワークに拡張され、将来の研究に有望な方向性を提供するかについて議論する。
関連論文リスト
- Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳（メタデータ） (2024-08-17T02:22:08Z) - Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization [32.939120407900035]
私たちのアルゴリズムは、イテレーション毎に1つの線形システムだけを解決する必要のある、単純な更新ルールを備えています。
また,提案アルゴリズムの実用性能を,既存の2次アルゴリズムと比較して評価した。
論文 参考訳（メタデータ） (2024-06-04T06:56:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Proximal Point Imitation Learning [48.50107891696562]
我々は、無限地平線模倣学習のための厳密な効率保証を備えた新しいアルゴリズムを開発した。
我々は、最適化、特に近点法(PPM)と双対平滑化から古典的ツールを活用する。
線形関数とニューラルネットワーク関数の近似の双方に対して、説得力のある経験的性能を実現する。
論文 参考訳（メタデータ） (2022-09-22T12:40:21Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - OpReg-Boost: Learning to Accelerate Online Algorithms with Operator
Regression [5.457279006229211]
本稿では,オンライン最適化と学習アルゴリズムの収束性を高めるために,新たな正規化手法であるOpsReg-Boostを提案する。
本稿では,演算子の回帰問題を形式化し,計算効率の良いピースマン・ラフフォード解法を提案する。
論文 参考訳（メタデータ） (2021-05-27T16:17:38Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳（メタデータ） (2021-02-18T12:30:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。