論文の概要: MaxMin-L2-SVC-NCH: A Novel Approach for Support Vector Classifier Training and Parameter Selection

• arxiv url: http://arxiv.org/abs/2307.07343v3
• Date: Tue, 21 Jan 2025 14:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:12.372103
• Title: MaxMin-L2-SVC-NCH: A Novel Approach for Support Vector Classifier Training and Parameter Selection
• Title（参考訳）: MaxMin-L2-SVC-NCH: ベクトル分類器学習とパラメータ選択のための新しいアプローチ
• Authors: Linkai Luo, Qiaoling Yang, Hong Peng, Yiding Wang, Ziyang Chen,
• Abstract要約: サポートベクトル分類(SVC)の適用において、ガウス核パラメータの選択は重要な役割を果たす。 一般的な方法は、グリッドサーチ(CV)を用いたk倍のクロスバリデーションであり、多数のSVCモデルをトレーニングする必要があるため、非常に時間がかかる。 本稿では,SVCを学習し,ガウスカーネルパラメータの選択を最適化するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 9.067612751242859
• License:
• Abstract: The selection of Gaussian kernel parameters plays an important role in the applications of support vector classification (SVC). A commonly used method is the k-fold cross validation with grid search (CV), which is extremely time-consuming because it needs to train a large number of SVC models. In this paper, a new approach is proposed to train SVC and optimize the selection of Gaussian kernel parameters. We first formulate the training and the parameter selection of SVC as a minimax optimization problem named as MaxMin-L2-SVC-NCH, in which the minimization problem is an optimization problem of finding the closest points between two normal convex hulls (L2-SVC-NCH) while the maximization problem is an optimization problem of finding the optimal Gaussian kernel parameters. A lower time complexity can be expected in MaxMin-L2-SVC-NCH because CV is not needed. We then propose a projected gradient algorithm (PGA) for the training of L2-SVC-NCH. It is revealed that the famous sequential minimal optimization (SMO) algorithm is a special case of the PGA. Thus, the PGA can provide more flexibility than the SMO. Furthermore, the solution of the maximization problem is done by a gradient ascent algorithm with dynamic learning rate. The comparative experiments between MaxMin-L2-SVC-NCH and the previous best approaches on public datasets show that MaxMin-L2-SVC-NCH greatly reduces the number of models to be trained while maintaining competitive test accuracy. These findings indicate that MaxMin-L2-SVC-NCH is a better choice for SVC tasks.
• Abstract（参考訳）: サポートベクトル分類(SVC)の適用において、ガウスのカーネルパラメータの選択は重要な役割を果たす。 一般的な方法は、グリッドサーチ(CV)を用いたk倍のクロスバリデーションであり、多数のSVCモデルをトレーニングする必要があるため、非常に時間がかかる。 本稿では,SVCを学習し,ガウスカーネルパラメータの選択を最適化するための新しい手法を提案する。 まず、最小化問題は2つの正規凸殻(L2-SVC-NCH)間の最寄り点を求める最適化問題であり、最大化問題は最適ガウス核パラメータを求める最適化問題である。 CVは必要ないため、MaxMin-L2-SVC-NCHではより短い時間で複雑さが期待できる。 次に、L2-SVC-NCHのトレーニングのための予測勾配アルゴリズム(PGA)を提案する。 有名な逐次最小最適化(SMO)アルゴリズムがPGAの特殊な場合であることが判明した。 したがって、PGAはSMOよりも柔軟性が高い。 さらに、最大化問題の解法は、動的学習率の勾配上昇アルゴリズムによって行われる。 MaxMin-L2-SVC-NCHの比較実験により、MaxMin-L2-SVC-NCHは、競合するテスト精度を維持しながらトレーニング対象のモデルを大幅に削減することを示した。 これらの結果から,MaxMin-L2-SVC-NCHはSVCタスクに適した選択肢であることが示唆された。

関連論文リスト

• Robust kernel-free quadratic surface twin support vector machine with capped $L_1$-norm distance metric [0.46040036610482665]
  本稿では,L_normカーネルフリーサーフェスツインサポートベクトルマシン(CL_QTSVM)を提案する。 キャップ付きL_norm距離メートル法を用いることで, モデルのロバスト性をさらに向上する。 提案手法を効率よく解くために反復アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:23:52Z)
• Compact NSGA-II for Multi-objective Feature Selection [0.24578723416255746]
  特徴選択を,分類精度を最大化し,選択した特徴数の最小化を目的とした多目的バイナリ最適化タスクとして定義する。 最適な特徴を選択するために,2進圧縮型NSGA-II (CNSGA-II) アルゴリズムを提案する。 我々の知る限りでは、これは特徴選択のために提案された最初のコンパクトな多目的アルゴリズムである。
  論文  参考訳（メタデータ） (2024-02-20T01:10:12Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning [12.069630105460766]
  AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。 本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-22T04:33:27Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)
• Online Model Selection for Reinforcement Learning with Function Approximation [50.008542459050155]
  我々は、$tildeO(L5/6 T2/3)$ regretで最適な複雑性に適応するメタアルゴリズムを提案する。 また、メタアルゴリズムは、インスタンス依存の後悔境界を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-11-19T10:00:54Z)
• Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization Minimization [6.41804410246642]
  特徴選択は、データマイニングと機械学習において重要な計算処理である。 本稿では,複数クラスの特徴選択における最小二乗問題の解法として,ホモシーハードしきい値(HIHT)に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-08T02:06:06Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。