論文の概要: Efficient Convex Algorithms for Universal Kernel Learning

• arxiv url: http://arxiv.org/abs/2304.07472v2
• Date: Sat, 24 Feb 2024 20:47:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 19:36:10.857426
• Title: Efficient Convex Algorithms for Universal Kernel Learning
• Title（参考訳）: ユニバーサルカーネル学習のための効率的な凸アルゴリズム
• Authors: Aleksandr Talitckii and Brendon K. Colbert and Matthew M. Peet
• Abstract要約: カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。 従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。 本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 50.877957471649395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The accuracy and complexity of machine learning algorithms based on kernel optimization are determined by the set of kernels over which they are able to optimize. An ideal set of kernels should: admit a linear parameterization (for tractability); be dense in the set of all kernels (for robustness); be universal (for accuracy). Recently, a framework was proposed for using positive matrices to parameterize a class of positive semi-separable kernels. Although this class can be shown to meet all three criteria, previous algorithms for optimization of such kernels were limited to classification and furthermore relied on computationally complex Semidefinite Programming (SDP) algorithms. In this paper, we pose the problem of learning semiseparable kernels as a minimax optimization problem and propose a SVD-QCQP primal-dual algorithm which dramatically reduces the computational complexity as compared with previous SDP-based approaches. Furthermore, we provide an efficient implementation of this algorithm for both classification and regression -- an implementation which enables us to solve problems with 100 features and up to 30,000 datums. Finally, when applied to benchmark data, the algorithm demonstrates the potential for significant improvement in accuracy over typical (but non-convex) approaches such as Neural Nets and Random Forest with similar or better computation time.
• Abstract（参考訳）: カーネル最適化に基づく機械学習アルゴリズムの精度と複雑さは、最適化が可能なカーネルの集合によって決定される。 カーネルの理想的な集合は、線形パラメータ化(トラクタビリティ)を認めること、全てのカーネルの集合において(堅牢性のために)密にすること、(正確性のために)普遍であることである。 近年,正行列を用いて正半分離核のクラスをパラメータ化するためのフレームワークが提案されている。 このクラスは3つの基準すべてを満たすことが示されるが、これらのカーネルを最適化するための以前のアルゴリズムは分類に限られており、さらに計算に複雑な半有限計画法(SDP)アルゴリズムに依存していた。 本稿では, 半分離カーネルの学習問題を最小最適化問題として取り上げ, 従来のSDP法と比較して計算複雑性を劇的に低減するSVD-QCQP法を提案する。 さらに、このアルゴリズムを分類と回帰の両方に効果的に実装し、100個の特徴と30,000個のダタムの問題を解くことができる実装を提供する。 最後に、ベンチマークデータに適用すると、このアルゴリズムは、ニューラルネットやランダムフォレストのような一般的な(しかし非凸)アプローチよりも、同様のあるいはより良い計算時間で精度が大幅に向上する可能性を示す。

関連論文リスト

• Faster Adaptive Decentralized Learning Algorithms [24.379734053137597]
  適応学習と有限サム最適化のための高速分散非分散アルゴリズム(AdaMDOSとAdaMDOF)のクラスを提案する。 いくつかの実験結果から,アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-08-19T08:05:33Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
  カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。 最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。 対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
  論文  参考訳（メタデータ） (2020-06-13T18:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。