論文の概要: What killed the Convex Booster ?

• arxiv url: http://arxiv.org/abs/2205.09628v1
• Date: Thu, 19 May 2022 15:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 20:21:53.093704
• Title: What killed the Convex Booster ?
• Title（参考訳）: なぜコンベックスブースターを殺したのか?
• Authors: Yishay Mansour and Richard Nock and Robert C. Williamson
• Abstract要約: LongとServedioの目覚ましい否定的な結果は、教師付き学習トリオの最悪の大失敗を生んだ。 否定的な結果の源泉は,ML の広範(あるいはそれ以外は注目に値する)な側面のダークサイドにある,と我々は主張する。
• 参考スコア（独自算出の注目度）: 70.04715330065275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A landmark negative result of Long and Servedio established a worst-case spectacular failure of a supervised learning trio (loss, algorithm, model) otherwise praised for its high precision machinery. Hundreds of papers followed up on the two suspected culprits: the loss (for being convex) and/or the algorithm (for fitting a classical boosting blueprint). Here, we call to the half-century+ founding theory of losses for class probability estimation (properness), an extension of Long and Servedio's results and a new general boosting algorithm to demonstrate that the real culprit in their specific context was in fact the (linear) model class. We advocate for a more general stanpoint on the problem as we argue that the source of the negative result lies in the dark side of a pervasive -- and otherwise prized -- aspect of ML: \textit{parameterisation}.
• Abstract（参考訳）: ロング・アンド・サーヴェディオの目覚ましい否定的な結果は、教師付き学習トリオ(ロス、アルゴリズム、モデル)が、それ以外は高精度な機械で賞賛された最悪の大失敗を生んだ。 何百もの論文が、この2つの容疑者について追及された: 損失(凸)とアルゴリズム(古典的なブースティング・ブループリントに適合する)だ。 ここでは半世紀以上にわたるクラス確率推定の損失の理論、ロングとサーミオの結果の拡張、そしてそれらの特定の文脈における真の原因が実際に(線形)モデルクラスであることを示す新しい一般的なブースティングアルゴリズムを提唱する。 我々は、負の結果の源は、ML: \textit{parameterisation} の浸透的側面の暗黒側にあると主張するので、この問題に関するより一般的なスタンポイントを提唱する。

関連論文リスト

• Sparse Double Descent: Where Network Pruning Aggravates Overfitting [8.425040193238777]
  本稿では,ネットワークプルーニングによるモデル間隔の増加に伴い,テスト性能が悪化する予期せぬ二重降下現象を報告する。 本稿では,スパースモデルの学習距離$ell_2$の曲線がスパース二重降下曲線とよく相関することを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:02:15Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• Being Properly Improper [36.52509571098292]
  正当性を剥奪された場合、類型的確率に基づく損失を分析する。 S. Arimoto が導入した半世紀の古い損失の自然な延長は、ねじれ固有であることを示す。 次に、適切な損失を減らし、加速するために、最も優れたオフザシェルフアルゴリズムをいくつか提供した理論に目を向けます。
  論文  参考訳（メタデータ） (2021-06-18T05:00:15Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• All your loss are belong to Bayes [28.393499629583786]
  ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
  教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。