論文の概要: Boosting with Tempered Exponential Measures
- arxiv url: http://arxiv.org/abs/2306.05487v1
- Date: Thu, 8 Jun 2023 18:17:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 15:56:23.291546
- Title: Boosting with Tempered Exponential Measures
- Title（参考訳）: 温暖化対策によるブースティング
- Authors: Richard Nock, Ehsan Amid, Manfred K. Warmuth
- Abstract要約: 一般的なMLアルゴリズムであるAdaBoostは、相対エントロピー最小化問題の双対から導出することができる。
我々は、この設定を最近導入された指数測度(TEM)に一般化し、測度そのものではなく、測度の特定の力に正規化を強制する。
我々のアルゴリズム $t$-AdaBoost は AdaBoostas を特別なケース (t=1$)
- 参考スコア（独自算出の注目度）: 40.961820572346426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the most popular ML algorithms, AdaBoost, can be derived from the dual
of a relative entropy minimization problem subject to the fact that the
positive weights on the examples sum to one. Essentially, harder examples
receive higher probabilities. We generalize this setup to the recently
introduced {\it tempered exponential measure}s (TEMs) where normalization is
enforced on a specific power of the measure and not the measure itself. TEMs
are indexed by a parameter $t$ and generalize exponential families ($t=1$). Our
algorithm, $t$-AdaBoost, recovers AdaBoost~as a special case ($t=1$). We show
that $t$-AdaBoost retains AdaBoost's celebrated exponential convergence rate
when $t\in [0,1)$ while allowing a slight improvement of the rate's hidden
constant compared to $t=1$. $t$-AdaBoost partially computes on a generalization
of classical arithmetic over the reals and brings notable properties like
guaranteed bounded leveraging coefficients for $t\in [0,1)$. From the loss that
$t$-AdaBoost minimizes (a generalization of the exponential loss), we show how
to derive a new family of {\it tempered} losses for the induction of
domain-partitioning classifiers like decision trees. Crucially, strict
properness is ensured for all while their boosting rates span the full known
spectrum. Experiments using $t$-AdaBoost+trees display that significant
leverage can be achieved by tuning $t$.
- Abstract（参考訳）: 最もポピュラーなmlアルゴリズムの1つであるadaboostは、例の正の重みが1に等しいという事実に基づく相対エントロピー最小化問題の双対から導出することができる。
本質的に、より難しい例は高い確率を受け取る。
この設定を、測度自体ではなく、測度の特定の力に対して正規化を強制する、最近導入された(TEMs) 指数測度に一般化する。
TEMはパラメータ$t$でインデックスされ、指数族(t=1$)を一般化する。
私たちのアルゴリズムである$t$-AdaBoostは、特別なケース(t=1$)としてAdaBoostを回復します。
我々は,$t$-adaboost が$t\in [0,1)$ のとき adaboost の指数収束率を保ちながら,$t=1$ と比較して隠れ定数をわずかに改善できることを示した。
$t$-AdaBoostは、Realに対する古典的算術の一般化を部分的に計算し、$t\in [0, 1)$の有界活用係数のような注目すべき特性をもたらす。
t$-AdaBoost が最小化(指数的損失の一般化)する損失から、決定木のようなドメイン分割型分類器を誘導するための新しい族 {\it tempered) 損失を導出する方法を示す。
重要な点として、厳密な正当性が保証され、一方、その加速速度は既知のスペクトル全体に及ぶ。
$t$-AdaBoost+treesを使った実験では、$t$をチューニングすることで大きなレバレッジを実現することができる。
関連論文リスト
- SGD with memory: fundamental properties and stochastic acceleration [15.25021403154845]
非確率設定では、損失収束$L_tsim C_Lt-xiの最適指数$xi$は、平滑なGDの倍である。
メモリ1のアルゴリズムでは、安定性を維持しながら、任意に$C_L$を小さくすることができる。
論文 参考訳（メタデータ） (2024-10-05T16:57:40Z) - How to Boost Any Loss Function [63.573324901948716]
損失関数はブースティングにより最適化可能であることを示す。
また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
論文 参考訳（メタデータ） (2024-07-02T14:08:23Z) - Boosting as Frank-Wolfe [0.6875312133832078]
フランク=ウルフアルゴリズムと任意の二次アルゴリズムを組み合わせた汎用的なブースティング手法を提案する。
ERLPBoost や C-ERLPBoost と同じ収束保証を維持していることを示す。
論文 参考訳（メタデータ） (2022-09-22T07:36:55Z) - Continuous Submodular Maximization: Boosting via Non-oblivious Function [12.755674710719616]
本稿では、オフラインおよびオンライン設定の両方において制約付きおよび連続的なサブモジュールイテレーションを再考する。
係数回帰最適化方程式を用いて、問題$max_boldsymbolxinmathCf(boldsymbolx)$に対して最適な補助関数$F$を導出する。
オンライン環境では、勾配フィードバックアルゴリズムの強化を提案し、$sqrtD$($D$は勾配フィードバックが$(fracgamma2)$に対する遅延の総和である)を後悔する。
論文 参考訳（メタデータ） (2022-01-03T15:10:17Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z) - Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。
最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
論文 参考訳（メタデータ） (2021-01-31T16:17:56Z) - Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to
Minimax Optimization [133.53164856723782]
そこで我々は,関数値のみが得られるブラックボックス最小最適化のための新しいアクセラレーションゼロ階運動量 (AccZOM) 法を提案する。
一方,ブラックボックス最小値最適化のためのアクセラレーションゼロ階運動量降下法(Acc-MDA)を提案する。
特に、Acc-MDAは、$tildeO(kappa_y2.5epsilon-3)$の低い勾配の複雑さを、バッチサイズ$O(kappa_y4)$で得ることができる。
論文 参考訳（メタデータ） (2020-08-18T22:19:29Z) - Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping [29.485528641599018]
本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。
提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。
どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
論文 参考訳（メタデータ） (2020-04-01T00:39:24Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳（メタデータ） (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。