論文の概要: Separability and Scatteredness (S&S) Ratio-Based Efficient SVM
Regularization Parameter, Kernel, and Kernel Parameter Selection
- arxiv url: http://arxiv.org/abs/2305.10219v1
- Date: Wed, 17 May 2023 13:51:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:38:36.207658
- Title: Separability and Scatteredness (S&S) Ratio-Based Efficient SVM
Regularization Parameter, Kernel, and Kernel Parameter Selection
- Title（参考訳）: 分離性と分散性(s&s)比に基づく効率的なsvm正規化パラメータ、カーネルおよびカーネルパラメータ選択
- Authors: Mahdi Shamsi and Soosan Beheshti
- Abstract要約: Support Vector Machine (SVM)は、分類、回帰、外れ値検出に広く応用された堅牢な機械学習アルゴリズムである。
本研究では,SVMの性能をデータの分離性と分散性(S&S)の関数としてモデル化できることを示す。
- 参考スコア（独自算出の注目度）: 10.66048003460524
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Support Vector Machine (SVM) is a robust machine learning algorithm with
broad applications in classification, regression, and outlier detection. SVM
requires tuning the regularization parameter (RP) which controls the model
capacity and the generalization performance. Conventionally, the optimum RP is
found by comparison of a range of values through the Cross-Validation (CV)
procedure. In addition, for non-linearly separable data, the SVM uses kernels
where a set of kernels, each with a set of parameters, denoted as a grid of
kernels, are considered. The optimal choice of RP and the grid of kernels is
through the grid-search of CV. By stochastically analyzing the behavior of the
regularization parameter, this work shows that the SVM performance can be
modeled as a function of separability and scatteredness (S&S) of the data.
Separability is a measure of the distance between classes, and scatteredness is
the ratio of the spread of data points. In particular, for the hinge loss cost
function, an S&S ratio-based table provides the optimum RP. The S&S ratio is a
powerful value that can automatically detect linear or non-linear separability
before using the SVM algorithm. The provided S&S ratio-based table can also
provide the optimum kernel and its parameters before using the SVM algorithm.
Consequently, the computational complexity of the CV grid-search is reduced to
only one time use of the SVM. The simulation results on the real dataset
confirm the superiority and efficiency of the proposed approach in the sense of
computational complexity over the grid-search CV method.
- Abstract（参考訳）: Support Vector Machine (SVM)は、分類、回帰、外れ値検出に広く応用された堅牢な機械学習アルゴリズムである。
SVMはモデルキャパシティと一般化性能を制御する正規化パラメータ(RP)をチューニングする必要がある。
従来、最適RPは、Cross-Validation (CV) 手順による値の範囲の比較によって見つかる。
さらに、非線形分離可能なデータに対しては、SVMはカーネルの集合、それぞれがカーネルのグリッドとして表されるパラメータの集合が考慮されるカーネルを使用する。
RPとカーネルのグリッドの最適選択は、CVのグリッド探索によって行われる。
正規化パラメータの挙動を統計的に解析することにより、SVMの性能をデータの分離性と分散性(S&S)の関数としてモデル化できることを示す。
分離性はクラス間の距離の尺度であり、散在性はデータポイントの拡散の比率である。
特に、ヒンジ損失コスト関数に対して、S&S比に基づくテーブルは最適なRPを提供する。
S&S比は、SVMアルゴリズムを使用する前に線形または非線形分離性を自動的に検出できる強力な値である。
提供されるS&S比に基づくテーブルは、SVMアルゴリズムを使用する前に最適なカーネルとそのパラメータを提供することもできる。
これにより、CVグリッド探索の計算複雑性はSVMの1回のみに削減される。
実データセット上でのシミュレーション結果から,グリッド探索CV法よりも計算複雑性の点で,提案手法の優位性と効率性が確認された。
関連論文リスト
- An Autotuning-based Optimization Framework for Mixed-kernel SVM Classifications in Smart Pixel Datasets and Heterojunction Transistors [0.0]
Support Vector Machine (SVM) は、科学や工学で広く使われている最先端の分類手法である。
そこで本稿では,SVMにおけるハイパーパラメータの範囲を定量化して最適選択を識別する,自動チューニングに基づく最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-26T15:50:13Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。
CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。
CFSRは計算コストと性能のバランスが最適であることを示す実験である。
論文 参考訳（メタデータ） (2024-01-11T03:08:00Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Cost-sensitive probabilistic predictions for support vector machines [1.743685428161914]
サポートベクターマシン(SVM)は広く使われており、最もよく検討され使用されている機械学習モデルの一つである。
本稿では,SVMの確率的出力を生成する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:00:17Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - Radial basis function kernel optimization for Support Vector Machine
classifiers [4.888981184420116]
OKSVMはRBFカーネルハイパーパラメータを自動的に学習し、SVM重みを同時に調整するアルゴリズムである。
合成データおよび実データに基づく分類において,従来のSVMに対するアプローチの性能を解析する。
論文 参考訳（メタデータ） (2020-07-16T10:09:15Z) - Behavioral analysis of support vector machine classifier with Gaussian
kernel and imbalanced data [6.028247638616058]
SVM分類モデルの振る舞いは、これらのパラメータがバランスの取れたデータと不均衡なデータで異なる値を取るときに解析される。
そこで本研究では,新しい探索アルゴリズムを提案する。
本アルゴリズムでは,2次元空間を探索する代わりに,最適SVMパラメータを2次元空間に探索する。
論文 参考訳（メタデータ） (2020-07-09T19:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。