論文の概要: AML-SVM: Adaptive Multilevel Learning with Support Vector Machines
- arxiv url: http://arxiv.org/abs/2011.02592v1
- Date: Thu, 5 Nov 2020 00:17:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:14:33.320153
- Title: AML-SVM: Adaptive Multilevel Learning with Support Vector Machines
- Title（参考訳）: AML-SVM: サポートベクトルマシンによる適応型マルチレベル学習
- Authors: Ehsan Sadrfaridpour, Korey Palmer, Ilya Safro (Clemson University)
- Abstract要約: 本稿では非線形SVMのための適応型多段階学習フレームワークを提案する。
改良プロセス全体の分類品質を改善し、マルチスレッド並列処理を活用して性能を向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The support vector machines (SVM) is one of the most widely used and
practical optimization based classification models in machine learning because
of its interpretability and flexibility to produce high quality results.
However, the big data imposes a certain difficulty to the most sophisticated
but relatively slow versions of SVM, namely, the nonlinear SVM. The complexity
of nonlinear SVM solvers and the number of elements in the kernel matrix
quadratically increases with the number of samples in training data. Therefore,
both runtime and memory requirements are negatively affected. Moreover, the
parameter fitting has extra kernel parameters to tune, which exacerbate the
runtime even further. This paper proposes an adaptive multilevel learning
framework for the nonlinear SVM, which addresses these challenges, improves the
classification quality across the refinement process, and leverages
multi-threaded parallel processing for better performance. The integration of
parameter fitting in the hierarchical learning framework and adaptive process
to stop unnecessary computation significantly reduce the running time while
increase the overall performance. The experimental results demonstrate reduced
variance on prediction over validation and test data across levels in the
hierarchy, and significant speedup compared to state-of-the-art nonlinear SVM
libraries without a decrease in the classification quality. The code is
accessible at https://github.com/esadr/amlsvm.
- Abstract（参考訳）: サポートベクターマシン(SVM)は、機械学習において最も広く使われ、実用的な最適化に基づく分類モデルの一つである。
しかし、ビッグデータは、最も洗練されたが比較的遅いバージョンのSVM、すなわち非線形SVMにある種の困難を課している。
非線形SVMソルバの複雑さとカーネル行列の要素数は、トレーニングデータ中のサンプルの数によって2次的に増加する。
したがって、ランタイムとメモリ要件の両方が負の影響を受ける。
さらに、パラメータフィッティングはチューニングする余分なカーネルパラメータを持ち、ランタイムをさらに悪化させる。
本稿では、これらの課題に対処し、改良プロセスにおける分類品質を改善し、マルチスレッド並列処理を活用して性能を向上させる非線形SVMのための適応型マルチレベル学習フレームワークを提案する。
階層的学習フレームワークにおけるパラメータフィッティングと不要な計算を止める適応プロセスの統合は、全体的なパフォーマンスを高めながら、実行時間を大幅に削減する。
実験結果から, 分類品質を低下させることなく, 従来の非線形SVMライブラリと比較して, 階層レベルの検証やテストデータに対する予測のばらつきを低減し, 大幅な高速化を図った。
コードはhttps://github.com/esadr/amlsvmでアクセスできる。
関連論文リスト
- Sparse Learning and Class Probability Estimation with Weighted Support
Vector Machines [1.3597551064547502]
重み付きサポートベクトルマシン (wSVM) は、高い精度で様々な問題に対するクラス確率と分類を頑健に予測する上で、優れた値を示している。
スパース学習問題に対する精度の高い確率推定と自動変数選択を組み込んだ新しいwSVMフレームワークを提案する。
提案したwSVMsベースのスパース学習手法は幅広い応用があり、アンサンブル学習によりさらに$K$クラスに拡張できる。
論文 参考訳（メタデータ） (2023-12-17T06:12:33Z) - Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines [0.9831489366502302]
サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。
半定値プログラミング(SDP)緩和を用いたS3VMの新しい分岐手法を提案する。
SDP緩和は文献で利用できるものよりもはるかに強い境界を提供する。
論文 参考訳（メタデータ） (2023-12-15T13:44:54Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Handling Imbalanced Classification Problems With Support Vector Machines
via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。
この記事では、EBCS-SVMについて紹介する。
論文 参考訳（メタデータ） (2022-04-21T16:08:44Z) - Max-Margin Contrastive Learning [120.32963353348674]
教師なし表現学習のためのMMCL(max-margin contrastive learning)を提案する。
提案手法は2次最適化問題を用いて得られたスパース支持ベクトルとして負を選択する。
我々は、標準ビジョンベンチマークデータセットに対するアプローチを検証し、教師なし表現学習におけるより良い性能を示す。
論文 参考訳（メタデータ） (2021-12-21T18:56:54Z) - Training very large scale nonlinear SVMs using Alternating Direction
Method of Multipliers coupled with the Hierarchically Semi-Separable kernel
approximations [0.0]
非線形サポートベクトルマシン(SVM)は、線形マシンと比較して、かなり高い分類品質が得られる。
彼らの計算複雑性は、大規模なデータセットでは禁じられている。
論文 参考訳（メタデータ） (2021-08-09T16:52:04Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - Unsupervised Real Time Prediction of Faults Using the Support Vector
Machine [1.1852751647387592]
提案手法は,SMOトレーニングアルゴリズムを用いることで,より優れた性能が得られることを示す。
この予測モデルの分類性能は、SMOトレーニングアルゴリズムの有無にかかわらず、SVMよりもかなり優れている。
論文 参考訳（メタデータ） (2020-12-30T04:27:10Z) - A fast learning algorithm for One-Class Slab Support Vector Machines [1.1613446814180841]
本稿では,SMO (Sequential Minimal Optimization) を用いた一級スラブSVMの高速トレーニング手法を提案する。
その結果、このトレーニング手法は、他の準計画法(QP)の解法よりも、大規模なトレーニングデータに対してより優れたスケールが可能であることが示唆された。
論文 参考訳（メタデータ） (2020-11-06T09:16:39Z) - Scaling Distributed Deep Learning Workloads beyond the Memory Capacity
with KARMA [58.040931661693925]
冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。
最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。
我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
論文 参考訳（メタデータ） (2020-08-26T07:24:34Z) - On Coresets for Support Vector Machines [61.928187390362176]
coresetは、元のデータポイントの小さな、代表的なサブセットである。
我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-02-15T23:25:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。