論文の概要: A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products

• arxiv url: http://arxiv.org/abs/2312.00538v1
• Date: Fri, 1 Dec 2023 12:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:42:43.278511
• Title: A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products
• Title（参考訳）: ANOVA分解とNFFTベースマトリックスベクトル製品を用いたサポートベクトルマシンのインテリアポイント法
• Authors: Theresa Wagner, John W. Pearson, Martin Stoll
• Abstract要約: 最適化問題に対して内部点法で用いられる特徴空間に対して,ANOVA分解を用いた NFFT 加速行列ベクトル積を提案する。 いくつかの大規模データセット上で、異なるプリコンディショナーの性能およびANOVAカーネルの性能について検討する。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we consider the numerical solution to the soft-margin support vector machine optimization problem. This problem is typically solved using the SMO algorithm, given the high computational complexity of traditional optimization algorithms when dealing with large-scale kernel matrices. In this work, we propose employing an NFFT-accelerated matrix-vector product using an ANOVA decomposition for the feature space that is used within an interior point method for the overall optimization problem. As this method requires the solution of a linear system of saddle point form we suggest a preconditioning approach that is based on low-rank approximations of the kernel matrix together with a Krylov subspace solver. We compare the accuracy of the ANOVA-based kernel with the default LIBSVM implementation. We investigate the performance of the different preconditioners as well as the accuracy of the ANOVA kernel on several large-scale datasets.
• Abstract（参考訳）: 本稿では,ソフトマージン支援ベクトルマシン最適化問題の数値解について考察する。 この問題は、大規模なカーネル行列を扱う場合の従来の最適化アルゴリズムの計算量が多いことから、一般的にSMOアルゴリズムを用いて解決される。 本研究では,全体最適化問題に対して内部点法で使用される特徴空間に対して,anova分解を用いたnfft加速行列ベクトル積を用いることを提案する。 本手法では,saddle point 形式の線形系の解を求めるので,krylov 部分空間ソルバとともにカーネル行列の低ランク近似に基づく事前条件付け手法を提案する。 我々は、ANOVAベースのカーネルの精度をデフォルトのLIBSVM実装と比較する。 いくつかの大規模データセット上で、異なるプリコンディショナーの性能とANOVAカーネルの精度について検討する。

関連論文リスト

• Automatic Hyperparameter Tuning in Sparse Matrix Factorization [0.0]
  スパース行列における正規化係数のゼロ点を評価することで,新しいパラメータチューニング法を提案する。 提案手法は, 大域的主成分分析アルゴリズムとの比較により, 地中スパルス行列再構成における優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-17T10:40:17Z)
• A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis [3.4806267677524896]
  ワッサーシュタイン判別分析(Wasserstein discriminant analysis, WDA)は線形次元減少法である。 WDAは、データクラス間のグローバルとローカルの相互接続の両方を説明できる。 2レベル非線形固有ベクトルアルゴリズム(WDA-nepv)を示す。
  論文  参考訳（メタデータ） (2022-11-21T22:40:43Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Feature subset selection for kernel SVM classification via mixed-integer optimization [0.7734726150561088]
  非線形カーネルサポートベクトルマシン(SVM)における特徴部分選択のための混合整数最適化(MIO)手法について検討した。 1970年代に線形回帰について最初に提案されたこのアプローチは、最近最適化アルゴリズムとコンピュータハードウェアの進歩とともにスポットライトに移行した。 特徴部分集合選択のためのカーネルターゲットアライメントに基づくMILO(mixed-integer linear optimization)の定式化を提案し,このMILO問題を最適化ソフトウェアを用いて最適に解くことができる。
  論文  参考訳（メタデータ） (2022-05-28T04:01:40Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Learning in High-Dimensional Feature Spaces Using ANOVA-Based Fast Matrix-Vector Multiplication [0.0]
  カーネル行列は一般に密度が高く大規模である。特徴空間の次元によっては、合理的な時間における全てのエントリの計算さえも難しい課題となる。 そこで我々は,ANOVAカーネルを用いて低次元の特徴空間に基づいて複数のカーネルを構築し,行列ベクトル積を実現する高速アルゴリズムを提案する。 特徴グループ化アプローチに基づいて,カーネルリッジ回帰と事前条件付き共役勾配解法を選択する学習手法に,高速な行列ベクトル積を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-11-19T10:29:39Z)
• Analysis of Truncated Orthogonal Iteration for Sparse Eigenvector Problems [78.95866278697777]
  本研究では,多元的固有ベクトルを分散制約で同時に計算するTruncated Orthogonal Iterationの2つの変種を提案する。 次に,我々のアルゴリズムを適用して,幅広いテストデータセットに対するスパース原理成分分析問題を解く。
  論文  参考訳（メタデータ） (2021-03-24T23:11:32Z)
• On the Efficient Implementation of the Matrix Exponentiated Gradient Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
  スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。 低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。 また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
  論文  参考訳（メタデータ） (2020-12-18T19:14:51Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。