論文の概要: Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss

• arxiv url: http://arxiv.org/abs/2306.13991v1
• Date: Sat, 24 Jun 2023 14:52:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 17:41:07.889827
• Title: Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss
• Title（参考訳）: $\ell_0$-Norm ヒンジ損失を持つカーネルサポートベクトルマシン分類器
• Authors: Rongrong Lin, Yingjia Yao, Yulan Liu
• Abstract要約: Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。 本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。 合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
• 参考スコア（独自算出の注目度）: 3.007949058551534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Support Vector Machine (SVM) has been one of the most successful machine learning techniques for binary classification problems. The key idea is to maximize the margin from the data to the hyperplane subject to correct classification on training samples. The commonly used hinge loss and its variations are sensitive to label noise, and unstable for resampling due to its unboundedness. This paper is concentrated on the kernel SVM with the $\ell_0$-norm hinge loss (referred as $\ell_0$-KSVM), which is a composite function of hinge loss and $\ell_0$-norm and then could overcome the difficulties mentioned above. In consideration of the nonconvexity and nonsmoothness of $\ell_0$-norm hinge loss, we first characterize the limiting subdifferential of the $\ell_0$-norm hinge loss and then derive the equivalent relationship among the proximal stationary point, the Karush-Kuhn-Tucker point, and the local optimal solution of $\ell_0$-KSVM. Secondly, we develop an ADMM algorithm for $\ell_0$-KSVM, and obtain that any limit point of the sequence generated by the proposed algorithm is a locally optimal solution. Lastly, some experiments on the synthetic and real datasets are illuminated to show that $\ell_0$-KSVM can achieve comparable accuracy compared with the standard KSVM while the former generally enjoys fewer support vectors.
• Abstract（参考訳）: Support Vector Machine (SVM)は、バイナリ分類問題の最も成功した機械学習技術の1つである。 重要なアイデアは、トレーニングサンプルで正しい分類を行うために、データからハイパープレーンへのマージンを最大化することだ。 一般的なヒンジ損失とそのバリエーションはラベルノイズに敏感であり、アンバウンド性のため再サンプリングが不安定である。 本稿では、カーネルSVMに$\ell_0$-normのヒンジ損失($\ell_0$-KSVM)を集中させ、これをヒンジ損失と$\ell_0$-normの複合関数とし、上記の困難を克服する。 $\ell_0$-norm ヒンジ損失の非凸性と非平滑性を考慮して、まず、$\ell_0$-norm ヒンジ損失の極限部分微分を特徴づけ、次いで、近位定常点、カルーシュ=クーン=タッカー点、および$\ell_0$-KSVMの局所最適解の間の同値関係を導出する。 次に、$\ell_0$-KSVMのADMMアルゴリズムを開発し、提案アルゴリズムによって生成されたシーケンスの任意の極限点が局所最適解であることを示す。 最後に、合成データセットと実データセットに関するいくつかの実験は、$\ell_0$-KSVMが標準のKSVMと同等の精度を達成できることを示した。

関連論文リスト

• $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss [0.0]
  ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。 本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T11:30:00Z)
• A Novel Loss Function-based Support Vector Machine for Binary Classification [3.773980481058198]
  サポートベクトルマシン分類器($ell_s$-SVM)を構築するための新しいスライド損失関数(ell_s$)を提案する。 近似定常点の概念を導入し、リプシッツ連続性の性質を利用することにより、$ell_s$-SVM に対する一階最適条件を導出する。 我々は, $ell_s$-SVM を効率的に処理するために, 演算セットと乗算器の高速交互方向法を考案した。
  論文  参考訳（メタデータ） (2024-03-25T11:42:01Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• High-Dimensional Penalized Bernstein Support Vector Machines [0.0]
  SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。 本稿では,Pentalized BernSVMの解を求めるための2つの効率的なアルゴリズムを提案する。 我々の境界は高い確率を持ち、位数 $sqrtslog(p)/n$ を達成する。
  論文  参考訳（メタデータ） (2023-03-16T03:48:29Z)
• Handling Imbalanced Classification Problems With Support Vector Machines via Evolutionary Bilevel Optimization [73.17488635491262]
  サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。 この記事では、EBCS-SVMについて紹介する。
  論文  参考訳（メタデータ） (2022-04-21T16:08:44Z)
• Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss [13.803988813225025]
  本稿では,0-1ソフトマージン損失を持つサポートベクトルマシンの非線形モデルである$L_0/1$-KSVMを提案する。 1$L_0/1$-KSVMは、線形ピアに比べて非常に少ないSVを持ち、正確な予測精度を持つ。
  論文  参考訳（メタデータ） (2022-03-01T12:53:52Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
  二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。 我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。 マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-07-02T10:48:42Z)
• Unified SVM Algorithm Based on LS-DC Loss [0.0]
  異なるSVMモデルをトレーニングできるアルゴリズムを提案する。 UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。 実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2020-06-16T12:40:06Z)
• Non-Convex SGD Learns Halfspaces with Adversarial Label Noise [50.659479930171585]
  分布固有モデルにおいて,同種半空間の学習を代理する問題に対する解を示す。 任意の凸分布において、誤分類誤差は本質的にハーフスペースの誤分類誤差につながることを示す。
  論文  参考訳（メタデータ） (2020-06-11T18:55:59Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。