論文の概要: The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines

• arxiv url: http://arxiv.org/abs/2407.21091v1
• Date: Tue, 30 Jul 2024 17:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 13:07:45.648162
• Title: The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines
• Title（参考訳）: カーネル支援ベクトルマシンの確率共役次数アルゴリズム
• Authors: Di Zhang, Suvrajeet Sen,
• Abstract要約: 本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
• 参考スコア（独自算出の注目度）: 1.738375118265695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic First-Order (SFO) methods have been a cornerstone in addressing a broad spectrum of modern machine learning (ML) challenges. However, their efficacy is increasingly questioned, especially in large-scale applications where empirical evidence indicates potential performance limitations. In response, this paper proposes an innovative method specifically designed for kernel support vector machines (SVMs). This method not only achieves faster convergence per iteration but also exhibits enhanced scalability when compared to conventional SFO techniques. Diverging from traditional sample average approximation strategies that typically frame kernel SVM as an 'all-in-one' Quadratic Program (QP), our approach adopts adaptive sampling. This strategy incrementally refines approximation accuracy on an 'as-needed' basis. Crucially, this approach also inspires a decomposition-based algorithm, effectively decomposing parameter selection from error estimation, with the latter being independently determined for each data point. To exploit the quadratic nature of the kernel matrix, we introduce a stochastic conjugate subgradient method. This method preserves many benefits of first-order approaches while adeptly handling both nonlinearity and non-smooth aspects of the SVM problem. Thus, it extends beyond the capabilities of standard SFO algorithms for non-smooth convex optimization. The convergence rate of this novel method is thoroughly analyzed within this paper. Our experimental results demonstrate that the proposed algorithm not only maintains but potentially exceeds the scalability of SFO methods. Moreover, it significantly enhances both speed and accuracy of the optimization process.
• Abstract（参考訳）: Stochastic First-Order (SFO) メソッドは、機械学習(ML)の幅広い課題に対処する上で、基盤となっている。 しかし、特に経験的証拠が潜在的な性能限界を示す大規模アプリケーションでは、それらの効果はますます疑問視されている。 本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 この手法はイテレーション毎の収束を高速化するだけでなく,従来のSFO手法と比較して拡張性も向上する。 カーネルSVMを「オールインワン」擬似プログラム(QP)とみなす従来のサンプル平均近似戦略から逸脱し、適応サンプリングを採用する。 この戦略は「必要」に基づいて近似精度を漸進的に改善する。 重要なことに、このアプローチは分解に基づくアルゴリズムを刺激し、エラー推定からパラメータ選択を効果的に分解し、後者は各データポイントに対して独立に決定される。 カーネル行列の二次性を活用するために,確率共役次数法を導入する。 この方法は、SVM問題の非線形性と非滑らか性の両方を十分に扱いながら、一階述語アプローチの多くの利点を保っている。 したがって、非滑らか凸最適化のための標準SFOアルゴリズムの能力を超えて拡張される。 本論文では,本手法の収束率について概説する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。 さらに、最適化プロセスの速度と精度を大幅に向上させる。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Resource-Adaptive Newton's Method for Distributed Learning [16.588456212160928]
  本稿では,Newtonの手法の限界を克服するRANLというアルゴリズムを提案する。 従来の一階法とは異なり、RANLは問題の条件数から著しく独立している。
  論文  参考訳（メタデータ） (2023-08-20T04:01:30Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Adaptive First- and Second-Order Algorithms for Large-Scale Machine Learning [3.0204520109309843]
  機械学習における連続最適化問題に対処する一階法と二階法を考察する。 一階述語の場合、半決定論的から二次正規化への遷移の枠組みを提案する。 本稿では,適応的なサンプリングと適応的なステップサイズを持つ新しい1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-29T18:10:00Z)
• Continuation Newton methods with deflation techniques for global optimization problems [3.705839280172101]
  最適化問題のグローバルな最小点はエンジニアリングである。 本稿では,この非線形大規模問題に対する新しいメメティックアルゴリズムについて考察する。 我々の数値実験によると、新しいアルゴリズムは制約のない未制約問題に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-07-29T09:53:49Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Minibatch and Momentum Model-based Methods for Stochastic Non-smooth Non-convex Optimization [3.4809730725241597]
  モデルベース手法に対する2つの重要な拡張を行う。 まず,各イテレーションのモデル関数を近似するために,サンプルの集合を用いる新しいミニバッチを提案する。 第二に、運動量法の成功により、新しい凸モデルを提案する。
  論文  参考訳（メタデータ） (2021-06-06T05:31:57Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic [5.395127324484869]
  SplitSGDは最適化のための新しい動的学習スケジュールである。 本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。 基本的には標準のSGDよりも計算コストがかかるわけではない。
  論文  参考訳（メタデータ） (2019-10-18T19:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。