論文の概要: Being Properly Improper

• arxiv url: http://arxiv.org/abs/2106.09920v1
• Date: Fri, 18 Jun 2021 05:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 23:57:24.058075
• Title: Being Properly Improper
• Title（参考訳）: 不適切であること
• Authors: Richard Nock, Tyler Sypherd, Lalitha Sankar
• Abstract要約: 正当性を剥奪された場合、類型的確率に基づく損失を分析する。 S. Arimoto が導入した半世紀の古い損失の自然な延長は、ねじれ固有であることを示す。 次に、適切な損失を減らし、加速するために、最も優れたオフザシェルフアルゴリズムをいくつか提供した理論に目を向けます。
• 参考スコア（独自算出の注目度）: 36.52509571098292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In today's ML, data can be twisted (changed) in various ways, either for bad or good intent. Such twisted data challenges the founding theory of properness for supervised losses which form the basis for many popular losses for class probability estimation. Unfortunately, at its core, properness ensures that the optimal models also learn the twist. In this paper, we analyse such class probability-based losses when they are stripped off the mandatory properness; we define twist-proper losses as losses formally able to retrieve the optimum (untwisted) estimate off the twists, and show that a natural extension of a half-century old loss introduced by S. Arimoto is twist proper. We then turn to a theory that has provided some of the best off-the-shelf algorithms for proper losses, boosting. Boosting can require access to the derivative of the convex conjugate of a loss to compute examples weights. Such a function can be hard to get, for computational or mathematical reasons; this turns out to be the case for Arimoto's loss. We bypass this difficulty by inverting the problem as follows: suppose a blueprint boosting algorithm is implemented with a general weight update function. What are the losses for which boosting-compliant minimisation happens? Our answer comes as a general boosting algorithm which meets the optimal boosting dependence on the number of calls to the weak learner; when applied to Arimoto's loss, it leads to a simple optimisation algorithm whose performances are showcased on several domains and twists.
• Abstract（参考訳）: 今日のMLでは、データは、悪いものでも良いものでも、さまざまな方法でツイスト(変更)することができる。 このようなツイストされたデータは、クラス確率推定の多くの一般的な損失の基礎となる教師付き損失の正当性の確立理論に挑戦する。 残念なことに、その核心である適切性は、最適なモデルもツイストを学習することを保証する。 本稿では,これらのクラス確率に基づく損失を,それらが必須の正当性から切り離されたときに解析し,ストロークプロペラ損失を,ストロークから最適(未変更)推定値を取り出すことができる損失として定義し,S. 有本が導入した半世紀の古い損失の自然な延長が適当であることを示す。 そして、適切な損失を減らし、加速するために最適なアルゴリズムをいくつか提供した理論に目を向ける。 ブースティングは、例の重みを計算するために損失の凸共役の導関数にアクセスする必要がある。 そのような関数は計算的あるいは数学的理由から取得することは困難であり、これは有本が失った場合である。 この難しさを回避して、次のような問題を反転させる。 一般的な重み付け更新関数でブループリントブースティングアルゴリズムを実装したと仮定する。 ブースティング準拠の最小化が生じる損失は何か? 我々の解は、弱い学習者への呼び出し数に対する最適なブースティング依存性を満たす一般的なブースティングアルゴリズムとして現れ、有元の損失に適用すると、いくつかのドメインとツイストでパフォーマンスを示す単純な最適化アルゴリズムに繋がる。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• What killed the Convex Booster ? [70.04715330065275]
  LongとServedioの目覚ましい否定的な結果は、教師付き学習トリオの最悪の大失敗を生んだ。 否定的な結果の源泉は,ML の広範(あるいはそれ以外は注目に値する)な側面のダークサイドにある,と我々は主張する。
  論文  参考訳（メタデータ） (2022-05-19T15:42:20Z)
• Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification [8.189630642296416]
  トップK損失に関する最近の進展にインスパイアされたトップKヒンジ損失を導入する。 提案手法は,フレキシブルな"摂動"フレームワーク上に構築されたトップK演算子の平滑化に基づいている。 我々の損失関数は、バランスの取れたデータセットの場合において非常によく機能し、計算時間もかなり少ないことを示します。
  論文  参考訳（メタデータ） (2022-02-04T15:39:32Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Omnipredictors [19.735769148626588]
  ロス最小化は機械学習において支配的なパラダイムである。 我々は家族の損失を最適化するために使用できる$mathcalL,mathcalC$)-omnipredictorの概念を紹介した。 このような「余分な知識」の学習は、多重校正とのつながりを通して実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-11T23:28:49Z)
• All your loss are belong to Bayes [28.393499629583786]
  ロス関数は機械学習の基盤であり、ほとんどのアルゴリズムの出発点である。 正方形ガウス過程を用いて経路が整合なソース関数を持つランダムな過程を求める。 実験の結果は、最先端技術よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-08T14:31:21Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
  教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。