論文の概要: High-Dimensional Penalized Bernstein Support Vector Machines
- arxiv url: http://arxiv.org/abs/2303.09066v1
- Date: Thu, 16 Mar 2023 03:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-17 16:56:09.953284
- Title: High-Dimensional Penalized Bernstein Support Vector Machines
- Title（参考訳）: 高次元ペン化ベルンシュタイン支持ベクトルマシン
- Authors: Rachid Kharoubi, Abdallah Mkhadri and Karim Oualkacha
- Abstract要約: SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。
本稿では,Pentalized BernSVMの解を求めるための2つの効率的なアルゴリズムを提案する。
我々の境界は高い確率を持ち、位数 $sqrtslog(p)/n$ を達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The support vector machines (SVM) is a powerful classifier used for binary
classification to improve the prediction accuracy. However, the
non-differentiability of the SVM hinge loss function can lead to computational
difficulties in high dimensional settings. To overcome this problem, we rely on
Bernstein polynomial and propose a new smoothed version of the SVM hinge loss
called the Bernstein support vector machine (BernSVM), which is suitable for
the high dimension $p >> n$ regime. As the BernSVM objective loss function is
of the class $C^2$, we propose two efficient algorithms for computing the
solution of the penalized BernSVM. The first algorithm is based on coordinate
descent with maximization-majorization (MM) principle and the second one is
IRLS-type algorithm (iterative re-weighted least squares). Under standard
assumptions, we derive a cone condition and a restricted strong convexity to
establish an upper bound for the weighted Lasso BernSVM estimator. Using a
local linear approximation, we extend the latter result to penalized BernSVM
with non convex penalties SCAD and MCP. Our bound holds with high probability
and achieves a rate of order $\sqrt{s\log(p)/n}$, where $s$ is the number of
active features. Simulation studies are considered to illustrate the prediction
accuracy of BernSVM to its competitors and also to compare the performance of
the two algorithms in terms of computational timing and error estimation. The
use of the proposed method is illustrated through analysis of three large-scale
real data examples.
- Abstract（参考訳）: サポートベクトルマシン(SVM)は、予測精度を向上させるためにバイナリ分類に使用される強力な分類器である。
しかし、SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。
この問題を克服するために、我々はベルンシュタイン多項式を用い、高次元 $p >> n$レジームに適したベルンシュタインサポートベクターマシン (bernsvm) と呼ばれる新しいsvmヒンジ損失の平滑化バージョンを提案する。
BernSVM の目的損失関数はクラス C^2$ であるので、ペナル化された BernSVM の解を計算するための2つの効率的なアルゴリズムを提案する。
第1のアルゴリズムは最大化行列化(MM)原理による座標降下に基づいており、第2のアルゴリズムはIRLS型アルゴリズムである。
標準仮定の下では、重み付きLasso BernSVM推定器の上界を確立するために、円錐条件と制限された強い凸性を導出する。
局所線形近似を用いて、後者の結果を非凸ペナルティscadとmcpを持つペナルティ化されたbernsvmに拡張する。
我々のバウンドは高い確率で保たれ、$\sqrt{s\log(p)/n}$のオーダーを達成する。
シミュレーション研究は、bernsvmの予測精度を競合相手と比較し、計算タイミングと誤差推定の観点から2つのアルゴリズムの性能を比較することを目的としている。
提案手法は,3つの大規模実データ例の分析から得られた。
関連論文リスト
- $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss [0.0]
ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。
本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
論文 参考訳（メタデータ） (2024-08-19T11:30:00Z) - A Novel Loss Function-based Support Vector Machine for Binary Classification [3.773980481058198]
サポートベクトルマシン分類器($ell_s$-SVM)を構築するための新しいスライド損失関数(ell_s$)を提案する。
近似定常点の概念を導入し、リプシッツ連続性の性質を利用することにより、$ell_s$-SVM に対する一階最適条件を導出する。
我々は, $ell_s$-SVM を効率的に処理するために, 演算セットと乗算器の高速交互方向法を考案した。
論文 参考訳（メタデータ） (2024-03-25T11:42:01Z) - A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector
Machine [15.096652880354199]
本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。
我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。
また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
論文 参考訳（メタデータ） (2024-03-04T06:55:57Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge
Loss [3.007949058551534]
Support Vector Machine (SVM)は、バイナリ分類問題において最も成功した機械学習技術の1つである。
本論文は, ヒンジ損失を持つベクトル($ell$-KSVM)に集中し, ヒンジ損失と$ell_$normの複合関数である。
合成データセットと実データセットの実験は、$ell_$-KSVMが標準のKSVMと同等の精度を達成可能であることを示すために照らされている。
論文 参考訳（メタデータ） (2023-06-24T14:52:44Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳（メタデータ） (2022-04-21T16:08:44Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳（メタデータ） (2020-10-12T17:41:44Z) - A Semismooth-Newton's-Method-Based Linearization and Approximation
Approach for Kernel Support Vector Machines [1.177306187948666]
Support Vector Machines (SVM) は最も人気があり、最も優れた分類アルゴリズムである。
本稿では,カーネルSVMに対する準平滑なニュートン法に基づく線形化近似手法を提案する。
提案手法の利点は、計算コストが低く、収束速度が速いことである。
論文 参考訳（メタデータ） (2020-07-21T07:44:21Z) - Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。
我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。
マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-07-02T10:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。