論文の概要: How to Boost Any Loss Function

• arxiv url: http://arxiv.org/abs/2407.02279v2
• Date: Thu, 14 Nov 2024 10:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:22:59.477736
• Title: How to Boost Any Loss Function
• Title（参考訳）: 損失関数の強化方法
• Authors: Richard Nock, Yishay Mansour,
• Abstract要約: 損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
• 参考スコア（独自算出の注目度）: 63.573324901948716
• License:
• Abstract: Boosting is a highly successful ML-born optimization setting in which one is required to computationally efficiently learn arbitrarily good models based on the access to a weak learner oracle, providing classifiers performing at least slightly differently from random guessing. A key difference with gradient-based optimization is that boosting's original model does not requires access to first order information about a loss, yet the decades long history of boosting has quickly evolved it into a first order optimization setting -- sometimes even wrongfully defining it as such. Owing to recent progress extending gradient-based optimization to use only a loss' zeroth ($0^{th}$) order information to learn, this begs the question: what loss functions can be efficiently optimized with boosting and what is the information really needed for boosting to meet the original boosting blueprint's requirements? We provide a constructive formal answer essentially showing that any loss function can be optimized with boosting and thus boosting can achieve a feat not yet known to be possible in the classical $0^{th}$ order setting, since loss functions are not required to be be convex, nor differentiable or Lipschitz -- and in fact not required to be continuous either. Some tools we use are rooted in quantum calculus, the mathematical field -- not to be confounded with quantum computation -- that studies calculus without passing to the limit, and thus without using first order information.
• Abstract（参考訳）: ブースティングは、弱い学習者のオラクルへのアクセスに基づいて、任意に良いモデルを計算的に効率よく学習し、ランダムな推測と少なくともわずかに異なる性能の分類器を提供する、高度に成功したML生まれの最適化設定である。 勾配ベースの最適化との大きな違いは、ブースティングのオリジナルのモデルが損失に関するファーストオーダー情報へのアクセスを必要としないことである。 勾配に基づく最近の最適化の進歩によって、損失の0分の1 (0^{th}$) のオーダー情報しか学べないようになり、これは、損失関数がブーストによって効率的に最適化できるのか、また、元のブーストブループリントの要求を満たすのに本当に必要な情報は何か、という疑問を提起する。 古典的な$0^{th}$の順序設定では、損失関数は凸でも微分可能でもリプシッツでもなければならず、実際に連続でなくてもよいので、いかなる損失関数もブースティングで最適化でき、したがってブースティングが達成できないことを示す構成的な公式な答えを提供する。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Being Properly Improper [36.52509571098292]
  正当性を剥奪された場合、類型的確率に基づく損失を分析する。 S. Arimoto が導入した半世紀の古い損失の自然な延長は、ねじれ固有であることを示す。 次に、適切な損失を減らし、加速するために、最も優れたオフザシェルフアルゴリズムをいくつか提供した理論に目を向けます。
  論文  参考訳（メタデータ） (2021-06-18T05:00:15Z)
• MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling [0.0]
  MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。 様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
  論文  参考訳（メタデータ） (2020-11-14T04:26:13Z)
• Improved Quantum Boosting [1.0660480034605238]
  Arunachalam と Maity は、Freund と Schapire の AdaBoost アルゴリズムと近似カウントのための量子アルゴリズムを組み合わせることで、最初の量子改良を行った。 本稿では,ServedioのSmoothBoostアルゴリズムに基づく,より高速でシンプルな量子ブースティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:16:42Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
  本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。 提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。 どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
  論文  参考訳（メタデータ） (2020-04-01T00:39:24Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。