論文の概要: $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss
- arxiv url: http://arxiv.org/abs/2408.09908v2
- Date: Tue, 20 Aug 2024 12:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 12:23:48.874084
- Title: $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss
- Title(参考訳): $p$SVM:$p$-norm Hinge Lossを備えたSoft-margin SVM
- Authors: Haoxiang Sun,
- Abstract要約: ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。
本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Support Vector Machines (SVMs) based on hinge loss have been extensively discussed and applied to various binary classification tasks. These SVMs achieve a balance between margin maximization and the minimization of slack due to outliers. Although many efforts have been dedicated to enhancing the performance of SVMs with hinge loss, studies on $p$SVMs, soft-margin SVMs with $p$-norm hinge loss, remain relatively scarce. In this paper, we explore the properties, performance, and training algorithms of $p$SVMs. We first derive the generalization bound of $p$SVMs, then formulate the dual optimization problem, comparing it with the traditional approach. Furthermore, we discuss a generalized version of the Sequential Minimal Optimization (SMO) algorithm, $p$SMO, to train our $p$SVM model. Comparative experiments on various datasets, including binary and multi-class classification tasks, demonstrate the effectiveness and advantages of our $p$SVM model and the $p$SMO method. Code is available at https://github.com/CoderBak/pSVM.
- Abstract(参考訳): ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。
これらのSVMは、マージンの最大化と、外れ値によるスラックの最小化のバランスを達成する。
ヒンジ損失を伴うSVMの性能向上に多くの努力が注がれているが、$p$SVM、$p$-normヒンジ損失を持つソフトマージンSVMの研究は比較的少ないままである。
本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
まず、$p$SVMの一般化境界を導出し、それから従来の手法と比較して双対最適化問題を定式化する。
さらに、$p$SVMモデルをトレーニングするために、Sequential Minimal Optimization (SMO)アルゴリズムの一般化版である$p$SMOについて論じる。
バイナリおよびマルチクラス分類タスクを含む各種データセットの比較実験は、$p$SVMモデルと$p$SMOメソッドの有効性と利点を実証する。
コードはhttps://github.com/CoderBak/pSVMで入手できる。
関連論文リスト
- A Novel Loss Function-based Support Vector Machine for Binary Classification [3.773980481058198]
サポートベクトルマシン分類器($ell_s$-SVM)を構築するための新しいスライド損失関数(ell_s$)を提案する。
近似定常点の概念を導入し、リプシッツ連続性の性質を利用することにより、$ell_s$-SVM に対する一階最適条件を導出する。
我々は, $ell_s$-SVM を効率的に処理するために, 演算セットと乗算器の高速交互方向法を考案した。
論文 参考訳(メタデータ) (2024-03-25T11:42:01Z) - A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector
Machine [15.096652880354199]
本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。
我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。
また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
論文 参考訳(メタデータ) (2024-03-04T06:55:57Z) - Multi-class Support Vector Machine with Maximizing Minimum Margin [67.51047882637688]
Support Vector Machine (SVM) は、パターン認識タスクに広く応用されている機械学習技術である。
本稿では,クラス損失のペア化と最小マージンの最大化を両立するマルチクラスSVMの新たな手法を提案する。
実験により,提案手法の有効性と優位性を示す。
論文 参考訳(メタデータ) (2023-12-11T18:09:55Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T14:28:26Z) - Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge
Loss [3.007949058551534]
Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。
本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。
合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
論文 参考訳(メタデータ) (2023-06-24T14:52:44Z) - High-Dimensional Penalized Bernstein Support Vector Machines [0.0]
SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。
本稿では,Pentalized BernSVMの解を求めるための2つの効率的なアルゴリズムを提案する。
我々の境界は高い確率を持ち、位数 $sqrtslog(p)/n$ を達成する。
論文 参考訳(メタデータ) (2023-03-16T03:48:29Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳(メタデータ) (2022-10-20T21:32:01Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳(メタデータ) (2022-04-21T16:08:44Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳(メタデータ) (2021-02-23T20:22:56Z) - Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。
我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。
マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2020-07-02T10:48:42Z) - A quantum extension of SVM-perf for training nonlinear SVMs in almost
linear time [0.2855485723554975]
特徴空間学習のための非線形サポートベクトルマシン(SVM)を訓練するための量子アルゴリズムを提案する。
Joachimsの古典的なSVM-perfアルゴリズムに基づいて、我々のアルゴリズムはトレーニング例の数で線形にスケールするランニングタイムを持つ。
論文 参考訳(メタデータ) (2020-06-18T06:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。