論文の概要: Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations

• arxiv url: http://arxiv.org/abs/2108.04167v1
• Date: Mon, 9 Aug 2021 16:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:00:20.522124
• Title: Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
• Title（参考訳）: 階層的半分離カーネル近似を組み合わせた乗算器の交互方向法による超大規模非線形SVMの訓練
• Authors: S. Cipolla, J. Gondzio
• Abstract要約: 非線形サポートベクトルマシン(SVM)は、線形マシンと比較して、かなり高い分類品質が得られる。 彼らの計算複雑性は、大規模なデータセットでは禁じられている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typically, nonlinear Support Vector Machines (SVMs) produce significantly higher classification quality when compared to linear ones but, at the same time, their computational complexity is prohibitive for large-scale datasets: this drawback is essentially related to the necessity to store and manipulate large, dense and unstructured kernel matrices. Despite the fact that at the core of training a SVM there is a \textit{simple} convex optimization problem, the presence of kernel matrices is responsible for dramatic performance reduction, making SVMs unworkably slow for large problems. Aiming to an efficient solution of large-scale nonlinear SVM problems, we propose the use of the \textit{Alternating Direction Method of Multipliers} coupled with \textit{Hierarchically Semi-Separable} (HSS) kernel approximations. As shown in this work, the detailed analysis of the interaction among their algorithmic components unveils a particularly efficient framework and indeed, the presented experimental results demonstrate a significant speed-up when compared to the \textit{state-of-the-art} nonlinear SVM libraries (without significantly affecting the classification accuracy).
• Abstract（参考訳）: 典型的には、非線形サポートベクターマシン(svm)は線形のものに比べてかなり高い分類品質を生み出すが、同時に、その計算複雑性は大規模データセットでは禁止されている。 SVMのトレーニングのコアには、‘textit{simple} convex Optimization problem’があるにもかかわらず、カーネル行列の存在は劇的なパフォーマンス低下の原因であり、大きな問題に対してSVMが非作業的に遅くなる。 大規模非線形svm問題の効率的な解法をめざして,乗算器の\textit{alternating direction method of multipliers} と \textit{hierarchically semi-separable} (hss) カーネル近似を用いた手法を提案する。 この研究で示されるように、アルゴリズムコンポーネント間の相互作用の詳細な分析により、特に効率的なフレームワークが明らかにされ、実際に提示された実験結果は、(分類精度に大きな影響を与えずに) \textit{state-of-the-art} 非線形svmライブラリと比較して大きなスピードアップを示している。

関連論文リスト

• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Robust optimization for adversarial learning with finite sample complexity guarantees [1.8434042562191815]
  本稿では,線形・非線形な分類問題に着目し,ロバストな分類器に対する新しい逆学習法を提案する。 データ駆動型レンズの下ではロバスト性があり、線形および非線形の分類器の2進および複数クラスシナリオにおける有限標本複雑性境界を導出する。 線形および非線形モデルに対する線形計画法 (LP) と2次コーン計画法 (SOCP) を用いて, 最悪のサロゲート損失を最小限に抑えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-22T13:49:53Z)
• Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines [1.104960878651584]
  サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。 半定値プログラミング(SDP)緩和を用いたS3VMの新しい分岐手法を提案する。 SDP緩和は文献で利用できるものよりもはるかに強い境界を提供する。
  論文  参考訳（メタデータ） (2023-12-15T13:44:54Z)
• A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products [0.6445605125467574]
  最適化問題に対して内部点法で用いられる特徴空間に対して,ANOVA分解を用いた NFFT 加速行列ベクトル積を提案する。 いくつかの大規模データセット上で、異なるプリコンディショナーの性能およびANOVAカーネルの性能について検討する。
  論文  参考訳（メタデータ） (2023-12-01T12:27:11Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• An Efficient Method for Sample Adversarial Perturbations against Nonlinear Support Vector Machines [8.000799046379749]
  非線形支持ベクトルマシン(SVM)のサンプル対向摂動について検討する。 非線形関数の暗黙の形式は特徴空間にデータをマッピングするので、対角摂動の明示的な形式を得るのは難しい。 非線形SVMの特殊特性を探索することにより、非線形SVMを攻撃する最適化問題を非線形KKTシステムに変換する。
  論文  参考訳（メタデータ） (2022-06-12T05:21:51Z)
• Handling Imbalanced Classification Problems With Support Vector Machines via Evolutionary Bilevel Optimization [73.17488635491262]
  サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。 この記事では、EBCS-SVMについて紹介する。
  論文  参考訳（メタデータ） (2022-04-21T16:08:44Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
  サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。 我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。 このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
  論文  参考訳（メタデータ） (2021-02-23T20:22:56Z)
• AML-SVM: Adaptive Multilevel Learning with Support Vector Machines [0.0]
  本稿では非線形SVMのための適応型多段階学習フレームワークを提案する。 改良プロセス全体の分類品質を改善し、マルチスレッド並列処理を活用して性能を向上する。
  論文  参考訳（メタデータ） (2020-11-05T00:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。