論文の概要: High-Dimensional Penalized Bernstein Support Vector Machines
- arxiv url: http://arxiv.org/abs/2303.09066v1
- Date: Thu, 16 Mar 2023 03:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 16:56:09.953284
- Title: High-Dimensional Penalized Bernstein Support Vector Machines
- Title（参考訳）: 高次元ペン化ベルンシュタイン支持ベクトルマシン
- Authors: Rachid Kharoubi, Abdallah Mkhadri and Karim Oualkacha
- Abstract要約: SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。
本稿では,Pentalized BernSVMの解を求めるための2つの効率的なアルゴリズムを提案する。
我々の境界は高い確率を持ち、位数 $sqrtslog(p)/n$ を達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The support vector machines (SVM) is a powerful classifier used for binary
classification to improve the prediction accuracy. However, the
non-differentiability of the SVM hinge loss function can lead to computational
difficulties in high dimensional settings. To overcome this problem, we rely on
Bernstein polynomial and propose a new smoothed version of the SVM hinge loss
called the Bernstein support vector machine (BernSVM), which is suitable for
the high dimension $p >> n$ regime. As the BernSVM objective loss function is
of the class $C^2$, we propose two efficient algorithms for computing the
solution of the penalized BernSVM. The first algorithm is based on coordinate
descent with maximization-majorization (MM) principle and the second one is
IRLS-type algorithm (iterative re-weighted least squares). Under standard
assumptions, we derive a cone condition and a restricted strong convexity to
establish an upper bound for the weighted Lasso BernSVM estimator. Using a
local linear approximation, we extend the latter result to penalized BernSVM
with non convex penalties SCAD and MCP. Our bound holds with high probability
and achieves a rate of order $\sqrt{s\log(p)/n}$, where $s$ is the number of
active features. Simulation studies are considered to illustrate the prediction
accuracy of BernSVM to its competitors and also to compare the performance of
the two algorithms in terms of computational timing and error estimation. The
use of the proposed method is illustrated through analysis of three large-scale
real data examples.
- Abstract（参考訳）: サポートベクトルマシン(SVM)は、予測精度を向上させるためにバイナリ分類に使用される強力な分類器である。
しかし、SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。
この問題を克服するために、我々はベルンシュタイン多項式を用い、高次元 $p >> n$レジームに適したベルンシュタインサポートベクターマシン (bernsvm) と呼ばれる新しいsvmヒンジ損失の平滑化バージョンを提案する。
BernSVM の目的損失関数はクラス C^2$ であるので、ペナル化された BernSVM の解を計算するための2つの効率的なアルゴリズムを提案する。
第1のアルゴリズムは最大化行列化(MM)原理による座標降下に基づいており、第2のアルゴリズムはIRLS型アルゴリズムである。
標準仮定の下では、重み付きLasso BernSVM推定器の上界を確立するために、円錐条件と制限された強い凸性を導出する。
局所線形近似を用いて、後者の結果を非凸ペナルティscadとmcpを持つペナルティ化されたbernsvmに拡張する。
我々のバウンドは高い確率で保たれ、$\sqrt{s\log(p)/n}$のオーダーを達成する。
シミュレーション研究は、bernsvmの予測精度を競合相手と比較し、計算タイミングと誤差推定の観点から2つのアルゴリズムの性能を比較することを目的としている。
提案手法は,3つの大規模実データ例の分析から得られた。
関連論文リスト
- GBSVM: Granular-ball Support Vector Machine [74.6876912934621]
本稿では,GBSVMの原モデルの誤りを修正し,その二重モデルを導出する。
双対モデルの解法として、粒子群最適化アルゴリズムを用いてアルゴリズムを設計する。
UCIベンチマークデータセットの実験結果は、GBSVMが堅牢性と効率性に優れていることを示している。
論文 参考訳（メタデータ） (2022-10-06T09:11:44Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳（メタデータ） (2022-04-21T16:08:44Z) - Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss [13.803988813225025]
本稿では,0-1ソフトマージン損失を持つサポートベクトルマシンの非線形モデルである$L_0/1$-KSVMを提案する。
1$L_0/1$-KSVMは、線形ピアに比べて非常に少ないSVを持ち、正確な予測精度を持つ。
論文 参考訳（メタデータ） (2022-03-01T12:53:52Z) - Learning with Smooth Hinge Losses [15.288802707471792]
我々は、$psi_G(alpha;sigma)$と$psi_M(alpha;sigma)$の2つの滑らかなヒンジ損失を紹介します。
テキスト分類タスクの実験では,提案したSSVMが実世界のアプリケーションに有効であることが示されている。
論文 参考訳（メタデータ） (2021-02-27T14:50:02Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳（メタデータ） (2020-10-12T17:41:44Z) - A Semismooth-Newton's-Method-Based Linearization and Approximation
Approach for Kernel Support Vector Machines [1.177306187948666]
Support Vector Machines (SVM) は最も人気があり、最も優れた分類アルゴリズムである。
本稿では,カーネルSVMに対する準平滑なニュートン法に基づく線形化近似手法を提案する。
提案手法の利点は、計算コストが低く、収束速度が速いことである。
論文 参考訳（メタデータ） (2020-07-21T07:44:21Z) - Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。
我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。
マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-07-02T10:48:42Z) - A quantum extension of SVM-perf for training nonlinear SVMs in almost
linear time [0.2855485723554975]
特徴空間学習のための非線形サポートベクトルマシン(SVM)を訓練するための量子アルゴリズムを提案する。
Joachimsの古典的なSVM-perfアルゴリズムに基づいて、我々のアルゴリズムはトレーニング例の数で線形にスケールするランニングタイムを持つ。
論文 参考訳（メタデータ） (2020-06-18T06:25:45Z) - Unified SVM Algorithm Based on LS-DC Loss [0.0]
異なるSVMモデルをトレーニングできるアルゴリズムを提案する。
UniSVMはクローズドフォームのソリューションであるため、既存のすべてのアルゴリズムに対して圧倒的な優位性がある。
実験によると、UniSVMはトレーニング時間の短縮で同等のパフォーマンスを達成できる。
論文 参考訳（メタデータ） (2020-06-16T12:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。