論文の概要: MaxMin-L2-SVC-NCH: A New Method to Train Support Vector Classifier with
the Selection of Model's Parameters
- arxiv url: http://arxiv.org/abs/2307.07343v1
- Date: Fri, 14 Jul 2023 13:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:53:49.748989
- Title: MaxMin-L2-SVC-NCH: A New Method to Train Support Vector Classifier with
the Selection of Model's Parameters
- Title（参考訳）: MaxMin-L2-SVC-NCH:モデルパラメータの選択によるサポートベクトル分類器の学習方法
- Authors: Linkai Luo, Qiaoling Yang, Hong Peng, Yiding Wang, Ziyang Chen
- Abstract要約: モデルパラメータの選択はサポートベクトル分類(SVC)の適用において重要な役割を果たす
多数のSVCモデルをトレーニングする必要があるため、非常に時間がかかります。
モデルパラメータの選択でSVCを訓練する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 4.434722137821766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The selection of model's parameters plays an important role in the
application of support vector classification (SVC). The commonly used method of
selecting model's parameters is the k-fold cross validation with grid search
(CV). It is extremely time-consuming because it needs to train a large number
of SVC models. In this paper, a new method is proposed to train SVC with the
selection of model's parameters. Firstly, training SVC with the selection of
model's parameters is modeled as a minimax optimization problem
(MaxMin-L2-SVC-NCH), in which the minimization problem is an optimization
problem of finding the closest points between two normal convex hulls
(L2-SVC-NCH) while the maximization problem is an optimization problem of
finding the optimal model's parameters. A lower time complexity can be expected
in MaxMin-L2-SVC-NCH because CV is abandoned. A gradient-based algorithm is
then proposed to solve MaxMin-L2-SVC-NCH, in which L2-SVC-NCH is solved by a
projected gradient algorithm (PGA) while the maximization problem is solved by
a gradient ascent algorithm with dynamic learning rate. To demonstrate the
advantages of the PGA in solving L2-SVC-NCH, we carry out a comparison of the
PGA and the famous sequential minimal optimization (SMO) algorithm after a SMO
algorithm and some KKT conditions for L2-SVC-NCH are provided. It is revealed
that the SMO algorithm is a special case of the PGA. Thus, the PGA can provide
more flexibility. The comparative experiments between MaxMin-L2-SVC-NCH and the
classical parameter selection models on public datasets show that
MaxMin-L2-SVC-NCH greatly reduces the number of models to be trained and the
test accuracy is not lost to the classical models. It indicates that
MaxMin-L2-SVC-NCH performs better than the other models. We strongly recommend
MaxMin-L2-SVC-NCH as a preferred model for SVC task.
- Abstract（参考訳）: モデルパラメータの選択は、サポートベクトル分類(SVC)の適用において重要な役割を果たす。
モデルのパラメータを選択する一般的な方法は、k-fold cross validation with grid search (cv)である。
多数のSVCモデルをトレーニングする必要があるため、非常に時間がかかります。
本稿では,モデルパラメータの選択によってsvcを訓練する新しい手法を提案する。
まず、モデルパラメータの選択によるSVCのトレーニングを最小化問題(MaxMin-L2-SVC-NCH)としてモデル化し、最小化問題は2つの通常の凸殻(L2-SVC-NCH)間の最も近い点を求める最適化問題であり、最大化問題は最適モデルのパラメータを求める最適化問題である。
CVは放棄されているため、MaxMin-L2-SVC-NCHでは低時間の複雑さが期待できる。
そこで,L2-SVC-NCHを投影勾配アルゴリズム (PGA) で解き,最大化を動的学習率で解き,L2-SVC-NCHを解き,勾配に基づくアルゴリズムを提案する。
L2-SVC-NCHの解法におけるPGAの利点を示すために、SMOアルゴリズムの後、PGAと有名なシーケンシャル最小最適化(SMO)アルゴリズムの比較を行い、L2-SVC-NCHのKKT条件について述べる。
SMOアルゴリズムがPGAの特殊な場合であることが判明した。
したがって、PGAはより柔軟性を提供することができる。
公開データセット上でのMaxMin-L2-SVC-NCHと古典パラメータ選択モデルの比較実験により、MaxMin-L2-SVC-NCHはトレーニング対象モデルの数を大幅に削減し、古典モデルではテスト精度が失われないことを示す。
これはmaxmin-l2-svc-nchが他のモデルよりも優れた性能を示す。
我々はSVCタスクの望ましいモデルとしてMaxMin-L2-SVC-NCHを強く推奨する。
関連論文リスト
- Robust kernel-free quadratic surface twin support vector machine with capped $L_1$-norm distance metric [0.46040036610482665]
本稿では,L_normカーネルフリーサーフェスツインサポートベクトルマシン(CL_QTSVM)を提案する。
キャップ付きL_norm距離メートル法を用いることで, モデルのロバスト性をさらに向上する。
提案手法を効率よく解くために反復アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-05-27T09:23:52Z) - Compact NSGA-II for Multi-objective Feature Selection [0.24578723416255746]
特徴選択を,分類精度を最大化し,選択した特徴数の最小化を目的とした多目的バイナリ最適化タスクとして定義する。
最適な特徴を選択するために,2進圧縮型NSGA-II (CNSGA-II) アルゴリズムを提案する。
我々の知る限りでは、これは特徴選択のために提案された最初のコンパクトな多目的アルゴリズムである。
論文 参考訳（メタデータ） (2024-02-20T01:10:12Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex
Minimax Machine Learning [12.069630105460766]
AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。
本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-22T04:33:27Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z) - Online Model Selection for Reinforcement Learning with Function
Approximation [50.008542459050155]
我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。
また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
論文 参考訳（メタデータ） (2020-11-19T10:00:54Z) - Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization
Minimization [6.41804410246642]
特徴選択は、データマイニングと機械学習において重要な計算処理である。
本稿では,複数クラスの特徴選択における最小二乗問題の解法として,ホモシーハードしきい値(HIHT)に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-08T02:06:06Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳（メタデータ） (2020-06-16T17:55:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。