論文の概要: Online Agnostic Boosting via Regret Minimization
- arxiv url: http://arxiv.org/abs/2003.01150v1
- Date: Mon, 2 Mar 2020 19:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 04:30:14.270730
- Title: Online Agnostic Boosting via Regret Minimization
- Title（参考訳）: レギュレット最小化によるオンラインAgnostic Boosting
- Authors: Nataly Brukhim, Xinyi Chen, Elad Hazan, Shay Moran
- Abstract要約: Boostingは、弱い学習ルールを集約するというアイデアに基づいて、広く使われている機械学習アプローチである。
オンラインブースティングアルゴリズムとしては,最弱の学習者に対して,自明な後悔の保証しか持たないことを考えると,そのアルゴリズムは,サブ線形後悔の強い学習者に促進する。
- 参考スコア（独自算出の注目度）: 47.19178618537368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Boosting is a widely used machine learning approach based on the idea of
aggregating weak learning rules. While in statistical learning numerous
boosting methods exist both in the realizable and agnostic settings, in online
learning they exist only in the realizable case. In this work we provide the
first agnostic online boosting algorithm; that is, given a weak learner with
only marginally-better-than-trivial regret guarantees, our algorithm boosts it
to a strong learner with sublinear regret.
Our algorithm is based on an abstract (and simple) reduction to online convex
optimization, which efficiently converts an arbitrary online convex optimizer
to an online booster.
Moreover, this reduction extends to the statistical as well as the online
realizable settings, thus unifying the 4 cases of statistical/online and
agnostic/realizable boosting.
- Abstract（参考訳）: Boostingは、弱い学習ルールを集約するというアイデアに基づいて、広く使われている機械学習アプローチである。
統計的学習においては、多くのブースティング手法が実現可能な設定と不可知な設定の両方に存在するが、オンライン学習では実現可能な場合のみ存在する。
この研究で我々は、最初の無知なオンラインブースティングアルゴリズムを提供する。つまり、極端に不愉快な保証しか持たない弱い学習者を考えると、我々のアルゴリズムはそれをサブリニアな後悔を伴う強い学習者へと押し上げる。
提案アルゴリズムは,任意のオンライン凸最適化器をオンラインブースターに効率よく変換するオンライン凸最適化への抽象的(かつ単純な)還元に基づく。
さらに、この削減は、統計的およびオンライン実現可能な設定にまで拡張され、統計/オンラインと不可知/実現可能なブーピングの4つのケースを統一する。
関連論文リスト
- Sample-Efficient Agnostic Boosting [19.15484761265653]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、既知のすべてのブースティングアルゴリズムよりも4次的に標本効率が高いという、不可知的なブースティング手法を超越している。
アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。
論文 参考訳（メタデータ） (2024-10-31T04:50:29Z) - How to Boost Any Loss Function [63.573324901948716]
損失関数の高速化により効率よく最適化できることを示す。
古典的な$0の注文設定ではまだ不可能な成果を達成できることを示す。
論文 参考訳（メタデータ） (2024-07-02T14:08:23Z) - Efficient Methods for Non-stationary Online Learning [67.3300478545554]
本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。
本手法は,パラメータフリーオンライン学習において開発された還元機構を基礎として,非定常オンライン手法に非自明なツイストを必要とする。
論文 参考訳（メタデータ） (2023-09-16T07:30:12Z) - Online Agnostic Multiclass Boosting [20.22409095000365]
オンライン・アグノスティック・ミュートリクラス分類のための最初のブースティング・アルゴリズムを提案する。
我々の削減により、統計的非依存、オンライン実現可能、および統計的実現可能なマルチクラスブースティングのためのアルゴリズムの構築が可能となった。
論文 参考訳（メタデータ） (2022-05-30T13:59:55Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳（メタデータ） (2022-03-19T13:39:49Z) - OpReg-Boost: Learning to Accelerate Online Algorithms with Operator
Regression [5.457279006229211]
本稿では,オンライン最適化と学習アルゴリズムの収束性を高めるために,新たな正規化手法であるOpsReg-Boostを提案する。
本稿では,演算子の回帰問題を形式化し,計算効率の良いピースマン・ラフフォード解法を提案する。
論文 参考訳（メタデータ） (2021-05-27T16:17:38Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳（メタデータ） (2021-02-18T12:30:49Z) - Online Boosting with Bandit Feedback [36.33990847170534]
学習者が限られた情報しか入手できない場合、回帰タスクのオンライン強化の問題を考える。
ノイズの多いマルチポイント帯域フィードバックを持つオンラインブースティングアルゴリズムと、勾配のある新しいオンライン凸最適化アルゴリズムという、2つの意味を持つ効率的な後悔の最小化法を提案する。
論文 参考訳（メタデータ） (2020-07-23T12:40:57Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳（メタデータ） (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。