論文の概要: A Semismooth-Newton's-Method-Based Linearization and Approximation
Approach for Kernel Support Vector Machines
- arxiv url: http://arxiv.org/abs/2007.11954v1
- Date: Tue, 21 Jul 2020 07:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 05:41:07.610863
- Title: A Semismooth-Newton's-Method-Based Linearization and Approximation
Approach for Kernel Support Vector Machines
- Title（参考訳）: セミスムースニュートン法に基づくカーネルサポートベクトルマシンの線形化と近似アプローチ
- Authors: Chen Jiang and Qingna Li
- Abstract要約: Support Vector Machines (SVM) は最も人気があり、最も優れた分類アルゴリズムである。
本稿では,カーネルSVMに対する準平滑なニュートン法に基づく線形化近似手法を提案する。
提案手法の利点は、計算コストが低く、収束速度が速いことである。
- 参考スコア（独自算出の注目度）: 1.177306187948666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Support Vector Machines (SVMs) are among the most popular and the best
performing classification algorithms. Various approaches have been proposed to
reduce the high computation and memory cost when training and predicting based
on large-scale datasets with kernel SVMs. A popular one is the linearization
framework, which successfully builds a bridge between the $L_1$-loss kernel SVM
and the $L_1$-loss linear SVM. For linear SVMs, very recently, a semismooth
Newton's method is proposed. It is shown to be very competitive and have low
computational cost. Consequently, a natural question is whether it is possible
to develop a fast semismooth Newton's algorithm for kernel SVMs. Motivated by
this question and the idea in linearization framework, in this paper, we focus
on the $L_2$-loss kernel SVM and propose a semismooth Newton's method based
linearization and approximation approach for it. The main idea of this approach
is to first set up an equivalent linear SVM, then apply the Nystr\"om method to
approximate the kernel matrix, based on which a reduced linear SVM is obtained.
Finally, the fast semismooth Newton's method is employed to solve the reduced
linear SVM. We also provide some theoretical analyses on the approximation of
the kernel matrix. The advantage of the proposed approach is that it maintains
low computational cost and keeps a fast convergence rate. Results of extensive
numerical experiments verify the efficiency of the proposed approach in terms
of both predicting accuracy and speed.
- Abstract（参考訳）: Support Vector Machines (SVM) は最も人気があり、最も優れた分類アルゴリズムである。
カーネルSVMを用いた大規模データセットのトレーニングと予測において,高い計算コストとメモリコストを低減するために,様々なアプローチが提案されている。
人気のあるのは線形化フレームワークで、$L_1$-lossカーネルSVMと$L_1$-lossリニアSVMの橋渡しに成功した。
線形svmでは,最近,セミムースニュートン法が提案されている。
非常に競争力があり、計算コストが低いことが示されている。
したがって、カーネルsvmに対して高速セミムートニュートンのアルゴリズムを開発できるかどうかという自然な疑問がある。
本稿では,この質問と線形化フレームワークのアイデアに動機づけられ,l_2$-loss kernel svmに着目し,半滑らかなニュートン法に基づく線形化と近似アプローチを提案する。
このアプローチの主な考え方は、まず等価線型SVMをセットアップし、次にNystr\"om法を適用して、縮小線形SVMが得られたカーネル行列を近似することである。
最後に、削減された線形SVMを解決するために、ニュートン法を用いる。
また,カーネル行列の近似に関する理論的解析を行った。
提案手法の利点は,計算コストが低く,収束速度が速いことにある。
大規模数値実験の結果,予測精度と速度の両面から提案手法の有効性を検証した。
関連論文リスト
- The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。
イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。
実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文 参考訳（メタデータ） (2024-07-30T17:03:19Z) - Multi-class Support Vector Machine with Maximizing Minimum Margin [67.51047882637688]
Support Vector Machine (SVM) は、パターン認識タスクに広く応用されている機械学習技術である。
本稿では,クラス損失のペア化と最小マージンの最大化を両立するマルチクラスSVMの新たな手法を提案する。
実験により,提案手法の有効性と優位性を示す。
論文 参考訳（メタデータ） (2023-12-11T18:09:55Z) - Snacks: a fast large-scale kernel SVM solver [0.8602553195689513]
SnacksはKernel Support Vector Machines用の新しい大規模ソルバである。
スナックは、カーネル行列の「Nystr」近似と、下次法の加速変種に依存している。
論文 参考訳（メタデータ） (2023-04-17T04:19:20Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。
テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。
その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
論文 参考訳（メタデータ） (2021-10-26T08:54:03Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳（メタデータ） (2021-10-13T19:36:50Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳（メタデータ） (2020-12-28T17:19:32Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - A quantum extension of SVM-perf for training nonlinear SVMs in almost
linear time [0.2855485723554975]
特徴空間学習のための非線形サポートベクトルマシン(SVM)を訓練するための量子アルゴリズムを提案する。
Joachimsの古典的なSVM-perfアルゴリズムに基づいて、我々のアルゴリズムはトレーニング例の数で線形にスケールするランニングタイムを持つ。
論文 参考訳（メタデータ） (2020-06-18T06:25:45Z) - Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS
Algorithm [8.571896191090744]
MLRパラメータの平均二乗誤差を最小化するという意味では,Biweightカーネルが最適であることを示す。
第2に、アルゴリズムを反復的に再重み付けした最小二乗アルゴリズム(IRLS)が収束することを保証したカーネルクラスを提供する。
論文 参考訳（メタデータ） (2020-01-30T03:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。