論文の概要: How to Boost Any Loss Function

• arxiv url: http://arxiv.org/abs/2407.02279v1
• Date: Tue, 2 Jul 2024 14:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:15:58.766323
• Title: How to Boost Any Loss Function
• Title（参考訳）: 損失関数の強化方法
• Authors: Richard Nock, Yishay Mansour,
• Abstract要約: 損失関数の高速化により効率よく最適化できることを示す。 古典的な$0の注文設定ではまだ不可能な成果を達成できることを示す。
• 参考スコア（独自算出の注目度）: 63.573324901948716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Boosting is a highly successful ML-born optimization setting in which one is required to computationally efficiently learn arbitrarily good models based on the access to a weak learner oracle, providing classifiers performing at least slightly differently from random guessing. A key difference with gradient-based optimization is that boosting's original model does not requires access to first order information about a loss, yet the decades long history of boosting has quickly evolved it into a first order optimization setting -- sometimes even wrongfully \textit{defining} it as such. Owing to recent progress extending gradient-based optimization to use only a loss' zeroth ($0^{th}$) order information to learn, this begs the question: what loss functions can be efficiently optimized with boosting and what is the information really needed for boosting to meet the \textit{original} boosting blueprint's requirements? We provide a constructive formal answer essentially showing that \textit{any} loss function can be optimized with boosting and thus boosting can achieve a feat not yet known to be possible in the classical $0^{th}$ order setting, since loss functions are not required to be be convex, nor differentiable or Lipschitz -- and in fact not required to be continuous either. Some tools we use are rooted in quantum calculus, the mathematical field -- not to be confounded with quantum computation -- that studies calculus without passing to the limit, and thus without using first order information.
• Abstract（参考訳）: ブースティングは、弱い学習者のオラクルへのアクセスに基づいて、任意に良いモデルを計算的に効率よく学習し、ランダムな推測と少なくともわずかに異なる性能の分類器を提供する、高度に成功したML生まれの最適化設定である。 勾配ベースの最適化との大きな違いは、ブースティングのオリジナルのモデルが損失に関するファーストオーダー情報へのアクセスを必要としないことである。 このことは、損失関数をブーストで効率的に最適化できるのか、そして、ブループリントの要求を満たすためにブーストするのに本当に必要な情報は何か、という疑問を提起する。 古典的な$0^{th}$の順序設定では、損失関数は凸でも微分可能でもリプシッツでもなければならず、実際に連続でなくてもよいからである。我々が使っているいくつかのツールは量子計算に根付いていて、数理場は量子計算と融合するものではない - 極限を通さずに計算を勉強し、従って一階情報を用いない。

関連論文リスト

• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• AdaBoost is not an Optimal Weak to Strong Learner [11.003568749905359]
  AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
  論文  参考訳（メタデータ） (2023-01-27T07:37:51Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Adapting to Misspecification in Contextual Bandits [82.55565343668246]
  我々は、$varepsilon$-misspecified contextual banditsに対して、新しいオラクル効率アルゴリズム群を導入する。 我々は、未知の不特定値に対して最適な$O(dsqrtT + varepsilonsqrtdT)$ regret boundを達成する最初のアルゴリズムを得る。
  論文  参考訳（メタデータ） (2021-07-12T21:30:41Z)
• Being Properly Improper [36.52509571098292]
  正当性を剥奪された場合、類型的確率に基づく損失を分析する。 S. Arimoto が導入した半世紀の古い損失の自然な延長は、ねじれ固有であることを示す。 次に、適切な損失を減らし、加速するために、最も優れたオフザシェルフアルゴリズムをいくつか提供した理論に目を向けます。
  論文  参考訳（メタデータ） (2021-06-18T05:00:15Z)
• MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling [0.0]
  MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。 様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
  論文  参考訳（メタデータ） (2020-11-14T04:26:13Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
  本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。 提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。 どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
  論文  参考訳（メタデータ） (2020-04-01T00:39:24Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。