論文の概要: Sparse L0-norm based Kernel-free Quadratic Surface Support Vector Machines

• arxiv url: http://arxiv.org/abs/2501.11268v1
• Date: Mon, 20 Jan 2025 04:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:24.586783
• Title: Sparse L0-norm based Kernel-free Quadratic Surface Support Vector Machines
• Title（参考訳）: スパースL0ノームをベースとしたカーネルフリー二次表面支持ベクトルマシン
• Authors: Ahmad Mousavi, Ramin Zandvakili,
• Abstract要約: カーネルフリー2次曲面支援ベクトルマシン(SVM)モデルは、機械学習において大きな注目を集めている。 本稿では、オーバーフィッティングを緩和し、解釈可能性を高めるために、sparse $ell_0$-norm based Kernel-free quadratic surface SVMを提案する。 このフレームワークのサブプロブレムは閉形式解を許容するか、あるいは双対性理論を利用して計算効率を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Kernel-free quadratic surface support vector machine (SVM) models have gained significant attention in machine learning. However, introducing a quadratic classifier increases the model's complexity by quadratically expanding the number of parameters relative to the dimensionality of the data, exacerbating overfitting. To address this, we propose sparse $\ell_0$-norm based Kernel-free quadratic surface SVMs, designed to mitigate overfitting and enhance interpretability. Given the intractable nature of these models, we present a penalty decomposition algorithm to efficiently obtain first-order optimality points. Our analysis shows that the subproblems in this framework either admit closed-form solutions or can leverage duality theory to improve computational efficiency. Through empirical evaluations on real-world datasets, we demonstrate the efficacy and robustness of our approach, showcasing its potential to advance Kernel-free quadratic surface SVMs in practical applications while addressing overfitting concerns. All the implemented models and experiment codes are available at \url{https://github.com/raminzandvakili/L0-QSVM}.
• Abstract（参考訳）: カーネルフリー2次曲面支援ベクトルマシン(SVM)モデルは、機械学習において大きな注目を集めている。 しかし、二次分類器を導入することで、データの次元に対するパラメータの数を2次的に拡大し、過度な適合を悪化させることでモデルの複雑さが増大する。 これを解決するために、オーバーフィッティングを緩和し、解釈可能性を高めるために設計された、sparse $\ell_0$-norm based Kernel-free quadratic surface SVMを提案する。 これらのモデルの難易度を考慮し、一階最適点を効率よく取得するペナルティ分解アルゴリズムを提案する。 このフレームワークのサブプロブレムは閉形式解を許容するか、あるいは双対性理論を利用して計算効率を向上させることができることを示す。 実世界のデータセットに対する実証的な評価を通じて,提案手法の有効性とロバスト性を実証し,カーネルフリー2次曲面SVMを実用化する可能性を示しながら,過度に適合する懸念に対処する。 すべての実装されたモデルと実験コードは、 \url{https://github.com/raminzandvakili/L0-QSVM} で利用可能である。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• Robust kernel-free quadratic surface twin support vector machine with capped $L_1$-norm distance metric [0.46040036610482665]
  本稿では,L_normカーネルフリーサーフェスツインサポートベクトルマシン(CL_QTSVM)を提案する。 キャップ付きL_norm距離メートル法を用いることで, モデルのロバスト性をさらに向上する。 提案手法を効率よく解くために反復アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:23:52Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
  最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。 テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。 その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
  論文  参考訳（メタデータ） (2021-10-26T08:54:03Z)
• Sparse Universum Quadratic Surface Support Vector Machine Models for Binary Classification [0.0]
  カーネルフリーな2次曲面サポートベクターマシンモデルを設計する。 二次曲面のヘシアンにおける潜在的空間パターンの検出に有用であるL1ノルム正規化版を提案する。 提案モデルの実現可能性と有効性を示すために、人工的および公共のベンチマークデータセットの数値実験を実施します。
  論文  参考訳（メタデータ） (2021-04-03T07:40:30Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)
• Learnable Subspace Clustering [76.2352740039615]
  本研究では,大規模サブスペースクラスタリング問題を効率的に解くために,学習可能なサブスペースクラスタリングパラダイムを開発する。 鍵となる考え方は、高次元部分空間を下層の低次元部分空間に分割するパラメトリック関数を学ぶことである。 我々の知る限り、本論文は、サブスペースクラスタリング手法の中で、数百万のデータポイントを効率的にクラスタ化する最初の試みである。
  論文  参考訳（メタデータ） (2020-04-09T12:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。