論文の概要: Classification vs regression in overparameterized regimes: Does the loss function matter?

• arxiv url: http://arxiv.org/abs/2005.08054v2
• Date: Thu, 14 Oct 2021 15:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 13:16:03.436783
• Title: Classification vs regression in overparameterized regimes: Does the loss function matter?
• Title（参考訳）: 過パラメータ構造における分類と回帰:損失関数は重要か?
• Authors: Vidya Muthukumar, Adhyyan Narang, Vignesh Subramanian, Mikhail Belkin, Daniel Hsu, Anant Sahai
• Abstract要約: 最小二乗最小ノルムで得られる解は、通常回帰に使用されるもので、ハードマージン支援ベクトルマシン(SVM)が生成したものと同一であることを示す。 本研究は, トレーニングフェーズ(最適化)とテストフェーズ(一般化)において, 損失関数の役割と特性が全く異なることを示すものである。
• 参考スコア（独自算出の注目度）: 21.75115239010008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We compare classification and regression tasks in an overparameterized linear model with Gaussian features. On the one hand, we show that with sufficient overparameterization all training points are support vectors: solutions obtained by least-squares minimum-norm interpolation, typically used for regression, are identical to those produced by the hard-margin support vector machine (SVM) that minimizes the hinge loss, typically used for training classifiers. On the other hand, we show that there exist regimes where these interpolating solutions generalize well when evaluated by the 0-1 test loss function, but do not generalize if evaluated by the square loss function, i.e. they approach the null risk. Our results demonstrate the very different roles and properties of loss functions used at the training phase (optimization) and the testing phase (generalization).
• Abstract（参考訳）: 過パラメータ線形モデルにおける分類と回帰タスクとガウス的特徴を比較する。 最小二乗最小ノルム補間法によって得られる解は、通常回帰に使用され、訓練分類器に使用されるヒンジ損失を最小限にするハードマージンサポートベクターマシン (svm) によって生成される解と同一である。 一方,これらの補間解が0-1テスト損失関数で評価した場合によく一般化するが,正方形損失関数で評価した場合は一般化しない,すなわちヌルリスクに近づくような方法が存在することを示す。 以上の結果から,訓練段階(最適化)と試験段階(一般化)で使用する損失関数の役割と特性が異なっていた。

関連論文リスト

• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• A unified law of robustness for Bregman divergence losses [2.014089835498735]
  本稿では,ブレグマン分散損失が2乗損失とクロスエントロピー損失の共通一般化を形成することを示す。 我々の一般化は、ブベックとセルクの証明の中心にあるバイアス分散型分解の同定に依存する。
  論文  参考訳（メタデータ） (2024-05-26T17:30:44Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Cut your Losses with Squentropy [19.924900110707284]
  ここでは、クロスエントロピー損失と、不正なクラスに対する平均平方損失という2つの項の和である「スカントロピー」損失を提案する。 その結果, スクエントロピーの損失は, 純粋なクロスエントロピーと再スケールした正方形損失の両方において, 分類精度において優れていた。
  論文  参考訳（メタデータ） (2023-02-08T09:21:13Z)
• Regularized ERM on random subspaces [17.927376388967144]
  我々は、Nystromがカーネルメソッドに近づいた特殊なケースとして、データのランダムなサブセットにまたがるデータ依存部分空間を考える。 ランダムな部分空間を考えると自然に計算上の節約につながるが、問題は対応する学習精度が劣化するかどうかである。
  論文  参考訳（メタデータ） (2022-12-04T16:12:11Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• A Loss-Function for Causal Machine-Learning [0.0]
  因果機械学習は、治療のネットエフェクト(真のリフト)を予測することである。 データにポイントワイド真の値がないため、同様のよく定義された損失関数は存在しない。 この文脈で損失関数を定義する新しい手法を提案し、これは標準回帰問題における平均二乗誤差(MSE)と等しい。
  論文  参考訳（メタデータ） (2020-01-02T21:22:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。