論文の概要: Sparse Learning and Class Probability Estimation with Weighted Support
Vector Machines
- arxiv url: http://arxiv.org/abs/2312.10618v1
- Date: Sun, 17 Dec 2023 06:12:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 15:32:48.344004
- Title: Sparse Learning and Class Probability Estimation with Weighted Support
Vector Machines
- Title（参考訳）: 重み付きサポートベクトルマシンを用いたスパース学習とクラス確率推定
- Authors: Liyun Zeng and Hao Helen Zhang
- Abstract要約: 重み付きサポートベクトルマシン (wSVM) は、高い精度で様々な問題に対するクラス確率と分類を頑健に予測する上で、優れた値を示している。
スパース学習問題に対する精度の高い確率推定と自動変数選択を組み込んだ新しいwSVMフレームワークを提案する。
提案したwSVMsベースのスパース学習手法は幅広い応用があり、アンサンブル学習によりさらに$K$クラスに拡張できる。
- 参考スコア（独自算出の注目度）: 1.3597551064547502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classification and probability estimation have broad applications in modern
machine learning and data science applications, including biology, medicine,
engineering, and computer science. The recent development of a class of
weighted Support Vector Machines (wSVMs) has shown great values in robustly
predicting the class probability and classification for various problems with
high accuracy. The current framework is based on the $\ell^2$-norm regularized
binary wSVMs optimization problem, which only works with dense features and has
poor performance at sparse features with redundant noise in most real
applications. The sparse learning process requires a prescreen of the important
variables for each binary wSVMs for accurately estimating pairwise conditional
probability. In this paper, we proposed novel wSVMs frameworks that incorporate
automatic variable selection with accurate probability estimation for sparse
learning problems. We developed efficient algorithms for effective variable
selection for solving either the $\ell^1$-norm or elastic net regularized
binary wSVMs optimization problems. The binary class probability is then
estimated either by the $\ell^2$-norm regularized wSVMs framework with selected
variables or by elastic net regularized wSVMs directly. The two-step approach
of $\ell^1$-norm followed by $\ell^2$-norm wSVMs show a great advantage in both
automatic variable selection and reliable probability estimators with the most
efficient time. The elastic net regularized wSVMs offer the best performance in
terms of variable selection and probability estimation with the additional
advantage of variable grouping in the compensation of more computation time for
high dimensional problems. The proposed wSVMs-based sparse learning methods
have wide applications and can be further extended to $K$-class problems
through ensemble learning.
- Abstract（参考訳）: 分類と確率推定は、生物学、医学、工学、コンピュータ科学を含む現代の機械学習やデータサイエンスの応用に広く応用されている。
重み付きサポートベクトルマシン(wSVM)の最近の開発は、クラス確率を頑健に予測し、様々な問題を高精度に分類する上で大きな価値を示している。
現在のフレームワークは$\ell^2$-norm正規化されたバイナリwsvms最適化問題に基づいている。
スパース学習プロセスでは、ペアの条件付き確率を正確に推定するために、各バイナリwSVMに対する重要な変数のプレスクリーンが必要である。
本稿では,スパース学習問題に対する精度の高い確率推定と自動変数選択を組み込んだ新しいwSVMフレームワークを提案する。
我々は,$\ell^1$-normあるいは弾性ネット正規化バイナリwSVMの最適化問題を解くための効率的な変数選択アルゴリズムを開発した。
バイナリクラスの確率は、選択された変数を持つ$\ell^2$-norm正規化wsvmsフレームワークか、直接elastic net正規化wsvmsによって見積もられる。
2段階の $\ell^1$-norm と $\ell^2$-norm wSVM のアプローチは、最も効率的な時間で自動変数選択と信頼性確率推定の両方において大きな利点を示す。
弾性ネット正規化wSVMは、高次元問題に対するより計算時間を補償する変数グループ化の利点を付加して、変数選択と確率推定の点で最高の性能を提供する。
提案したwSVMsベースのスパース学習手法は幅広い応用があり、アンサンブル学習によりさらに$K$クラスに拡張できる。
関連論文リスト
- Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である
我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。
提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文 参考訳（メタデータ） (2024-05-16T17:58:44Z) - A Safe Screening Rule with Bi-level Optimization of $\nu$ Support Vector
Machine [15.096652880354199]
本稿では,$nu$-SVM に対する二レベル最適化による安全なスクリーニングルールを提案する。
我々のSRBO-$nu$-SVMは、Karush-Kuhn-Tucker条件を統合することによって厳密に推論される。
また,計算速度を改善するために,効率的な二重座標降下法 (DCDM) も開発している。
論文 参考訳（メタデータ） (2024-03-04T06:55:57Z) - Cost-sensitive probabilistic predictions for support vector machines [1.743685428161914]
サポートベクターマシン(SVM)は広く使われており、最もよく検討され使用されている機械学習モデルの一つである。
本稿では,SVMの確率的出力を生成する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:00:17Z) - Numerical Optimizations for Weighted Low-rank Estimation on Language
Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。
標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。
本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-02T00:58:02Z) - Linear Algorithms for Nonparametric Multiclass Probability Estimation [0.0]
アンサンブル学習によってクラス確率を推定するために,サポートベクトルマシン (wSVM) が開発された。
計算効率と推定精度の面でwSVMをさらに向上するために,ベースライン学習とOVA学習という2つの新しい学習手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T03:15:22Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳（メタデータ） (2022-04-21T16:08:44Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - AML-SVM: Adaptive Multilevel Learning with Support Vector Machines [0.0]
本稿では非線形SVMのための適応型多段階学習フレームワークを提案する。
改良プロセス全体の分類品質を改善し、マルチスレッド並列処理を活用して性能を向上する。
論文 参考訳（メタデータ） (2020-11-05T00:17:02Z) - A quantum extension of SVM-perf for training nonlinear SVMs in almost
linear time [0.2855485723554975]
特徴空間学習のための非線形サポートベクトルマシン(SVM)を訓練するための量子アルゴリズムを提案する。
Joachimsの古典的なSVM-perfアルゴリズムに基づいて、我々のアルゴリズムはトレーニング例の数で線形にスケールするランニングタイムを持つ。
論文 参考訳（メタデータ） (2020-06-18T06:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。