論文の概要: Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
- arxiv url: http://arxiv.org/abs/2203.00399v1
- Date: Tue, 1 Mar 2022 12:53:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 18:32:55.433740
- Title: Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
- Title（参考訳）: 0-1ソフトマージン損失を有する非線形カーネル支持ベクターマシン
- Authors: Ju Liu, Ling-Wei Huang, Yuan-Hai Shao, Wei-Jie Chen, Chun-Na Li
- Abstract要約: 本稿では,0-1ソフトマージン損失を持つサポートベクトルマシンの非線形モデルである$L_0/1$-KSVMを提案する。
1$L_0/1$-KSVMは、線形ピアに比べて非常に少ないSVを持ち、正確な予測精度を持つ。
- 参考スコア（独自算出の注目度）: 13.803988813225025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advance on linear support vector machine with the 0-1 soft margin loss
($L_{0/1}$-SVM) shows that the 0-1 loss problem can be solved directly.
However, its theoretical and algorithmic requirements restrict us extending the
linear solving framework to its nonlinear kernel form directly, the absence of
explicit expression of Lagrangian dual function of $L_{0/1}$-SVM is one big
deficiency among of them. In this paper, by applying the nonparametric
representation theorem, we propose a nonlinear model for support vector machine
with 0-1 soft margin loss, called $L_{0/1}$-KSVM, which cunningly involves the
kernel technique into it and more importantly, follows the success on
systematically solving its linear task. Its optimal condition is explored
theoretically and a working set selection alternating direction method of
multipliers (ADMM) algorithm is introduced to acquire its numerical solution.
Moreover, we firstly present a closed-form definition to the support vector
(SV) of $L_{0/1}$-KSVM. Theoretically, we prove that all SVs of $L_{0/1}$-KSVM
are only located on the parallel decision surfaces. The experiment part also
shows that $L_{0/1}$-KSVM has much fewer SVs, simultaneously with a decent
predicting accuracy, when comparing to its linear peer $L_{0/1}$-SVM and the
other six nonlinear benchmark SVM classifiers.
- Abstract（参考訳）: 0-1ソフトマージン損失(L_{0/1}$-SVM)を持つ線形支持ベクトルマシンの最近の進歩は、0-1ロス問題を直接解けることを示している。
しかしながら、その理論的かつアルゴリズム的な要求は、線形解法フレームワークをその非線形カーネル形式に直接拡張することを制限するが、ラグランジアン双対函数の明示的な表現がないことは、それらのうちの1つの大きな欠点である。
本稿では,非パラメトリック表現定理を適用して,0-1ソフトマージン損失を持つ支持ベクトルマシンの非線形モデル($L_{0/1}$-KSVM)を提案する。
その最適条件を理論的に検討し、その数値解を得るために乗算器アルゴリズム(ADMM)の動作セット選択方向法を導入する。
さらに、まず、サポートベクトル (sv) に対して $l_{0/1}$-ksvm の閉形式を定義する。
理論的には、$L_{0/1}$-KSVM のすべての SV が並列決定曲面上のみに存在することを証明している。
実験部はまた、$L_{0/1}$-KSVMは、線形ピアである$L_{0/1}$-SVMと他の6つの非線形ベンチマークSVM分類器と比較した場合、十分な予測精度とともに、SVをはるかに少なくすることを示した。
関連論文リスト
- $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss [0.0]
ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。
本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2024-08-19T11:30:00Z) - Settling Constant Regrets in Linear Markov Decision Processes [57.34287648914407]
強化学習(RL)における絶え間ない後悔の保証について検討する。
我々は不特定線形マルコフ決定過程(MDP)に対するアルゴリズムCert-LSVI-UCBを導入する。
Cert-LSVI-UCB は $tildemathcalO(d3H5/Delta)$ の累積後悔と高い確率を持つ MDP に対して、$zeta$ が $tildemathcalO(Delta / (sqrtd) 以下であることを仮定する。
論文 参考訳（メタデータ） (2024-04-16T17:23:19Z) - A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector
Machine [15.096652880354199]
本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。
我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。
また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
論文 参考訳（メタデータ） (2024-03-04T06:55:57Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge
Loss [3.007949058551534]
Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。
本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。
合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
論文 参考訳（メタデータ） (2023-06-24T14:52:44Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - A Semismooth-Newton's-Method-Based Linearization and Approximation
Approach for Kernel Support Vector Machines [1.177306187948666]
Support Vector Machines (SVM) は最も人気があり、最も優れた分類アルゴリズムである。
本稿では,カーネルSVMに対する準平滑なニュートン法に基づく線形化近似手法を提案する。
提案手法の利点は、計算コストが低く、収束速度が速いことである。
論文 参考訳（メタデータ） (2020-07-21T07:44:21Z) - Unified SVM Algorithm Based on LS-DC Loss [0.0]
異なるSVMモデルをトレーニングできるアルゴリズムを提案する。
UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。
実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
論文 参考訳（メタデータ） (2020-06-16T12:40:06Z) - Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。
最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-04-30T10:42:48Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳（メタデータ） (2020-04-12T12:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。