論文の概要: Unified SVM Algorithm Based on LS-DC Loss
- arxiv url: http://arxiv.org/abs/2006.09111v4
- Date: Tue, 11 May 2021 03:25:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 19:28:14.521194
- Title: Unified SVM Algorithm Based on LS-DC Loss
- Title（参考訳）: LS-DC損失に基づく統一SVMアルゴリズム
- Authors: Zhou Shuisheng and Zhou Wendi
- Abstract要約: 異なるSVMモデルをトレーニングできるアルゴリズムを提案する。
UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。
実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past two decades, support vector machine (SVM) has become a popular
supervised machine learning model, and plenty of distinct algorithms are
designed separately based on different KKT conditions of the SVM model for
classification/regression with different losses, including the convex loss or
nonconvex loss. In this paper, we propose an algorithm that can train different
SVM models in a \emph{unified} scheme. First, we introduce a definition of the
\emph{LS-DC} (\textbf{l}east \textbf{s}quares type of \textbf{d}ifference of
\textbf{c}onvex) loss and show that the most commonly used losses in the SVM
community are LS-DC loss or can be approximated by LS-DC loss. Based on DCA
(difference of convex algorithm), we then propose a unified algorithm, called
\emph{UniSVM}, which can solve the SVM model with any convex or nonconvex LS-DC
loss, in which only a vector is computed, especially by the specifically chosen
loss. Particularly, for training robust SVM models with nonconvex losses,
UniSVM has a dominant advantage over all existing algorithms because it has a
closed-form solution per iteration, while the existing algorithms always need
to solve an L1SVM/L2SVM per iteration. Furthermore, by the low-rank
approximation of the kernel matrix, UniSVM can solve the large-scale nonlinear
problems with efficiency. To verify the efficacy and feasibility of the
proposed algorithm, we perform many experiments on some small artificial
problems and some large benchmark tasks with/without outliers for
classification and regression for comparison with state-of-the-art algorithms.
The experimental results demonstrate that UniSVM can achieve comparable
performance in less training time. The foremost advantage of UniSVM is that its
core code in Matlab is less than 10 lines; hence, it can be easily grasped by
users or researchers.
- Abstract（参考訳）: 過去20年間で、サポートベクトルマシン(SVM)は一般的な教師付き機械学習モデルとなり、凸損失や非凸損失などの異なる損失を伴う分類/回帰のためのSVMモデルの異なるKKT条件に基づいて、多くの異なるアルゴリズムが個別に設計されている。
本稿では,異なるsvmモデルを \emph{unified}スキームで学習できるアルゴリズムを提案する。
まず、emph{LS-DC} (\textbf{l}east \textbf{s}quares type of \textbf{d}ifference of \textbf{c}onvex) lossの定義を導入し、SVMコミュニティでよく使われている損失がLS-DC損失であるか、LS-DC損失によって近似可能であることを示す。
次に, DCA (convex algorithm) に基づいて, SVM モデルにコンベックスや非凸LS-DC損失を発生させる一元化アルゴリズムである \emph{UniSVM} を提案する。
特に、非凸損失を持つ堅牢なSVMモデルをトレーニングする場合、UniSVMはイテレーション毎にクローズドフォームソリューションを持つため、既存のアルゴリズムはイテレーション毎にL1SVM/L2SVMを解決する必要があるため、既存のアルゴリズムよりも圧倒的に優位である。
さらに、カーネル行列の低ランク近似により、UniSVMは効率よく大規模な非線形問題を解くことができる。
提案アルゴリズムの有効性と実用性を検証するため,いくつかの小さな人工問題や,最先端のアルゴリズムとの比較のための分類と回帰のためのアウトレーヤのない大規模なベンチマークタスクについて,多数の実験を行った。
実験の結果、UniSVMは少ないトレーニング時間で同等のパフォーマンスを達成できることが示された。
UniSVMの最大の利点は、Matlabのコアコードが10行未満であることである。
関連論文リスト
- Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge
Loss [3.007949058551534]
Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。
本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。
合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
論文 参考訳（メタデータ） (2023-06-24T14:52:44Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳（メタデータ） (2022-04-21T16:08:44Z) - Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss [13.803988813225025]
本稿では,0-1ソフトマージン損失を持つサポートベクトルマシンの非線形モデルである$L_0/1$-KSVMを提案する。
1$L_0/1$-KSVMは、線形ピアに比べて非常に少ないSVを持ち、正確な予測精度を持つ。
論文 参考訳（メタデータ） (2022-03-01T12:53:52Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Covariance-Free Sparse Bayesian Learning [62.24008859844098]
共分散行列の明示的な反転を回避する新しいSBL推論アルゴリズムを導入する。
私たちの手法は、既存のベースラインよりも数千倍も高速です。
我々は,SBLが高次元信号回復問題に難なく対処できる新しいアルゴリズムについて紹介する。
論文 参考訳（メタデータ） (2021-05-21T16:20:07Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - A fast learning algorithm for One-Class Slab Support Vector Machines [1.1613446814180841]
本稿では,SMO (Sequential Minimal Optimization) を用いた一級スラブSVMの高速トレーニング手法を提案する。
その結果、このトレーニング手法は、他の準計画法(QP)の解法よりも、大規模なトレーニングデータに対してより優れたスケールが可能であることが示唆された。
論文 参考訳（メタデータ） (2020-11-06T09:16:39Z) - Probabilistic Classification Vector Machine for Multi-Class
Classification [29.411892651468797]
確率的分類ベクトルマシン(PCVM)は、支持ベクトルマシンと関連するベクトルマシンの両方の利点を合成する。
我々はPCVMを1-vs-restや1-vs-oneといった投票戦略を通じてマルチクラスケースに拡張する。
mPCVMでは、2つの学習アルゴリズム、すなわち1つのトップダウンアルゴリズムと1つのボトムアップアルゴリズムが実装されている。
mPCVMの優れた性能は、合成データセットとベンチマークデータセットで広く評価されている。
論文 参考訳（メタデータ） (2020-06-29T03:21:38Z) - A quantum extension of SVM-perf for training nonlinear SVMs in almost
linear time [0.2855485723554975]
特徴空間学習のための非線形サポートベクトルマシン(SVM)を訓練するための量子アルゴリズムを提案する。
Joachimsの古典的なSVM-perfアルゴリズムに基づいて、我々のアルゴリズムはトレーニング例の数で線形にスケールするランニングタイムを持つ。
論文 参考訳（メタデータ） (2020-06-18T06:25:45Z) - On Coresets for Support Vector Machines [61.928187390362176]
coresetは、元のデータポイントの小さな、代表的なサブセットである。
我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-02-15T23:25:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。