論文の概要: A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector Machine

• arxiv url: http://arxiv.org/abs/2403.01769v1
• Date: Mon, 4 Mar 2024 06:55:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 19:58:20.065470
• Title: A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector Machine
• Title（参考訳）: $\nu$サポートベクトルマシンの2レベル最適化による安全なスクリーニングルール
• Authors: Zhiji Yang, Wanyi Chen, Huan Zhang, Yitian Xu, Lei Shi, Jianhua Zhao
• Abstract要約: 本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。 我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。 また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
• 参考スコア（独自算出の注目度）: 15.096652880354199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Support vector machine (SVM) has achieved many successes in machine learning, especially for a small sample problem. As a famous extension of the traditional SVM, the $\nu$ support vector machine ($\nu$-SVM) has shown outstanding performance due to its great model interpretability. However, it still faces challenges in training overhead for large-scale problems. To address this issue, we propose a safe screening rule with bi-level optimization for $\nu$-SVM (SRBO-$\nu$-SVM) which can screen out inactive samples before training and reduce the computational cost without sacrificing the prediction accuracy. Our SRBO-$\nu$-SVM is strictly deduced by integrating the Karush-Kuhn-Tucker (KKT) conditions, the variational inequalities of convex problems and the $\nu$-property. Furthermore, we develop an efficient dual coordinate descent method (DCDM) to further improve computational speed. Finally, a unified framework for SRBO is proposed to accelerate many SVM-type models, and it is successfully applied to one-class SVM. Experimental results on 6 artificial data sets and 30 benchmark data sets have verified the effectiveness and safety of our proposed methods in supervised and unsupervised tasks.
• Abstract（参考訳）: サポートベクターマシン(svm)は、特に小さなサンプル問題において、機械学習で多くの成功を収めてきた。 従来のsvmの有名な拡張として、$\nu$サポートベクターマシン($\nu$-svm)は、優れたモデル解釈性のために優れた性能を示している。 しかし、大規模な問題に対するオーバーヘッドのトレーニングには依然として課題がある。 この問題に対処するために、トレーニング前に不活性なサンプルをスクリーニングし、予測精度を犠牲にすることなく計算コストを削減できる、$\nu$-SVM (SRBO-$\nu$-SVM) の2レベル最適化による安全なスクリーニングルールを提案する。 我々のSRBO-$\nu$-SVMは、KKT条件、凸問題の変分不等式、および$\nu$-propertyを統合することによって厳密に導出される。 さらに,計算速度を改善するために,効率的な二重座標降下法 (DCDM) を開発した。 最後に,多くのSVM型モデルの高速化を目的としたSRBO統合フレームワークを提案し,一級SVMへの適用に成功している。 6つの人工データセットと30個のベンチマークデータセットの実験結果から,教師なしタスクにおける提案手法の有効性と安全性が検証された。

関連論文リスト

• $p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss [0.0]
  ヒンジ損失に基づくサポートベクトルマシン(SVM)は、様々なバイナリ分類タスクに広く議論され、適用されてきた。 本稿では,$p$SVMの特性,性能,トレーニングアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2024-08-19T11:30:00Z)
• Sparse Learning and Class Probability Estimation with Weighted Support Vector Machines [1.3597551064547502]
  重み付きサポートベクトルマシン (wSVM) は、高い精度で様々な問題に対するクラス確率と分類を頑健に予測する上で、優れた値を示している。 スパース学習問題に対する精度の高い確率推定と自動変数選択を組み込んだ新しいwSVMフレームワークを提案する。 提案したwSVMsベースのスパース学習手法は幅広い応用があり、アンサンブル学習によりさらに$K$クラスに拡張できる。
  論文  参考訳（メタデータ） (2023-12-17T06:12:33Z)
• Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines [0.9831489366502302]
  サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。 半定値プログラミング(SDP)緩和を用いたS3VMの新しい分岐手法を提案する。 SDP緩和は文献で利用できるものよりもはるかに強い境界を提供する。
  論文  参考訳（メタデータ） (2023-12-15T13:44:54Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Majorization-Minimization for sparse SVMs [46.99165837639182]
  サポートベクタマシン(SVM)は、数十年前に教師付きフレームワークの下でバイナリ分類タスクを実行するために導入された。 それらはしばしば他の教師付き手法よりも優れており、マシンラーニング分野において最も一般的なアプローチの1つである。 本研究では,スムーズなスパースプロモーティング型正方形ヒンジ損失最小化によるSVMのトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-08-31T17:03:16Z)
• Evaluating robustness of support vector machines with the Lagrangian dual approach [6.868150350359336]
  非線形カーネルを用いたベクトルマシン(SVM)の検証性能を向上させる手法を提案する。 我々は,MNISTおよびFashion-MNISTデータセット上で線形および非線形カーネルを持つSVMの対角的ロバスト性を評価する。 実験結果から,テストセット上で得られた証明可能なロバスト性の割合は,最先端技術よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-05T07:15:54Z)
• High-Dimensional Penalized Bernstein Support Vector Machines [0.0]
  SVMヒンジ損失関数の非微分性は、高次元設定において計算困難を引き起こす可能性がある。 本稿では,Pentalized BernSVMの解を求めるための2つの効率的なアルゴリズムを提案する。 我々の境界は高い確率を持ち、位数 $sqrtslog(p)/n$ を達成する。
  論文  参考訳（メタデータ） (2023-03-16T03:48:29Z)
• Handling Imbalanced Classification Problems With Support Vector Machines via Evolutionary Bilevel Optimization [73.17488635491262]
  サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。 この記事では、EBCS-SVMについて紹介する。
  論文  参考訳（メタデータ） (2022-04-21T16:08:44Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。