論文の概要: A Modern Introduction to Online Learning
- arxiv url: http://arxiv.org/abs/1912.13213v5
- Date: Mon, 21 Mar 2022 00:55:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:34:32.963308
- Title: A Modern Introduction to Online Learning
- Title(参考訳): オンライン学習の現代的紹介
- Authors: Francesco Orabona
- Abstract要約: オンライン学習(オンライン学習)とは、最悪の場合における後悔の最小化の枠組みを指す。
凸損失を伴うオンライン学習のための一階と二階のアルゴリズムを提示する。
- 参考スコア(独自算出の注目度): 15.974402990630402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this monograph, I introduce the basic concepts of Online Learning through
a modern view of Online Convex Optimization. Here, online learning refers to
the framework of regret minimization under worst-case assumptions. I present
first-order and second-order algorithms for online learning with convex losses,
in Euclidean and non-Euclidean settings. All the algorithms are clearly
presented as instantiation of Online Mirror Descent or
Follow-The-Regularized-Leader and their variants. Particular attention is given
to the issue of tuning the parameters of the algorithms and learning in
unbounded domains, through adaptive and parameter-free online learning
algorithms. Non-convex losses are dealt through convex surrogate losses and
through randomization. The bandit setting is also briefly discussed, touching
on the problem of adversarial and stochastic multi-armed bandits. These notes
do not require prior knowledge of convex analysis and all the required
mathematical tools are rigorously explained. Moreover, all the included proofs
have been carefully chosen to be as simple and as short as possible.
- Abstract(参考訳): 本稿では,オンラインコンベックス最適化の現代的展望を通して,オンライン学習の基本概念を紹介する。
ここでは、オンライン学習は最悪の仮定の下で後悔の最小化の枠組みを指す。
ユークリッドおよび非ユークリッド環境において、凸損失を伴うオンライン学習のための1次および2次アルゴリズムを提案する。
すべてのアルゴリズムは、オンラインミラー降下やフォロー・ザ・レギュラライズド・リーダーとその変種をインスタンス化したものである。
特に,適応型およびパラメータフリーオンライン学習アルゴリズムを用いて,非有界領域におけるアルゴリズムのパラメータのチューニングと学習の問題に注目する。
非凸損失は凸サーロゲート損失とランダム化によって処理される。
バンディットの設定も簡単に議論され、逆境や確率的多腕バンディットの問題に触れている。
これらのノートは凸解析の事前の知識を必要とせず、必要な数学的ツールはすべて厳密に説明されている。
さらに、含まれている全ての証明は可能な限り単純で短いものに慎重に選択されている。
関連論文リスト
- Discounted Adaptive Online Prediction [6.2825062988372125]
適応型オンライン学習において,近年開発された手法を応用して,古典的な軽率な後悔の概念を再考する。
我々の主な成果は、損失シーケンスとコンパレータの両方の複雑さに適応する新しいアルゴリズムである。
オンラインコンフォメーション予測(オンラインコンフォメーション予測)という,定員決定を伴う下流のオンライン学習タスクを通じて,このようなメリットを実証する。
論文 参考訳(メタデータ) (2024-02-05T04:29:39Z) - Efficient Methods for Non-stationary Online Learning [67.3300478545554]
本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。
本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
論文 参考訳(メタデータ) (2023-09-16T07:30:12Z) - Smoothed Online Learning for Prediction in Piecewise Affine Systems [54.98643421343919]
本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。
これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-01-26T15:54:14Z) - Online Prediction in Sub-linear Space [15.773280101995676]
我々は、専門家のアドバイスによるオンライン学習のための最初のサブ線形空間とサブ線形後悔アルゴリズムを提供する。
また,任意の線形後悔アルゴリズムの線形メモリ下限を適応的逆数に対して証明することにより,(強い)適応的逆数と難解な逆数との分離を実証する。
論文 参考訳(メタデータ) (2022-07-16T16:15:39Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳(メタデータ) (2022-03-19T13:39:49Z) - Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。
古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文 参考訳(メタデータ) (2022-02-09T19:22:34Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳(メタデータ) (2021-02-18T12:30:49Z) - Optimal Robustness-Consistency Trade-offs for Learning-Augmented Online
Algorithms [85.97516436641533]
機械学習予測を取り入れたオンラインアルゴリズムの性能向上の課題について検討する。
目標は、一貫性と堅牢性の両方を備えたアルゴリズムを設計することだ。
機械学習予測を用いた競合解析のための非自明な下界の最初のセットを提供する。
論文 参考訳(メタデータ) (2020-10-22T04:51:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。