Fugu-MT 論文翻訳(概要): Feature subset selection for kernel SVM classification via mixed-integer optimization

論文の概要: Feature subset selection for kernel SVM classification via mixed-integer optimization

arxiv url: http://arxiv.org/abs/2205.14325v1
Date: Sat, 28 May 2022 04:01:40 GMT
ステータス: 処理完了
システム内更新日: 2022-05-31 15:25:10.403889
Title: Feature subset selection for kernel SVM classification via mixed-integer optimization
Title（参考訳）: 混合整数最適化によるカーネルSVM分類の特徴部分選択
Authors: Ryuta Tamura, Yuichi Takano, Ryuhei Miyashiro
Abstract要約: 非線形カーネルサポートベクトルマシン(SVM)における特徴部分選択のための混合整数最適化(MIO)手法について検討した。 1970年代に線形回帰について最初に提案されたこのアプローチは、最近最適化アルゴリズムとコンピュータハードウェアの進歩とともにスポットライトに移行した。特徴部分集合選択のためのカーネルターゲットアライメントに基づくMILO(mixed-integer linear optimization)の定式化を提案し,このMILO問題を最適化ソフトウェアを用いて最適に解くことができる。
参考スコア（独自算出の注目度）: 0.7734726150561088
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the mixed-integer optimization (MIO) approach to feature subset selection in nonlinear kernel support vector machines (SVMs) for binary classification. First proposed for linear regression in the 1970s, this approach has recently moved into the spotlight with advances in optimization algorithms and computer hardware. The goal of this paper is to establish an MIO approach for selecting the best subset of features for kernel SVM classification. To measure the performance of subset selection, we use the kernel-target alignment, which is the distance between the centroids of two response classes in a high-dimensional feature space. We propose a mixed-integer linear optimization (MILO) formulation based on the kernel-target alignment for feature subset selection, and this MILO problem can be solved to optimality using optimization software. We also derive a reduced version of the MILO problem to accelerate our MILO computations. Experimental results show good computational efficiency for our MILO formulation with the reduced problem. Moreover, our method can often outperform the linear-SVM-based MILO formulation and recursive feature elimination in prediction performance, especially when there are relatively few data instances.
Abstract（参考訳）: 非線形カーネルサポートベクトルマシン(SVM)における特徴部分選択のための混合整数最適化(MIO)手法について検討した。 1970年代に線形回帰について最初に提案されたこのアプローチは、最近最適化アルゴリズムとコンピュータハードウェアの進歩とともにスポットライトに移行した。本研究の目的は,カーネルSVM分類に最適な機能のサブセットを選択するためのMIOアプローチを確立することである。高次元特徴空間における2つの応答クラスのセントロイド間の距離であるカーネル・ターゲットアライメントを用いて,サブセット選択の性能を測定する。特徴部分集合選択のためのカーネルターゲットアライメントに基づくMILO(mixed-integer linear optimization)の定式化を提案し,このMILO問題を最適化ソフトウェアを用いて最適に解くことができる。また、MILO計算を高速化するため、MILO問題の縮小版を導出する。実験の結果,MILOの定式化には計算効率がよいことがわかった。さらに,データインスタンスが比較的少ない場合に,線形SVMに基づくMILOの定式化や再帰的特徴除去よりも優れていることもしばしばある。

関連論文リスト

A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文参考訳（メタデータ） (2024-07-30T17:03:19Z)
A Preconditioned Interior Point Method for Support Vector Machines Using an ANOVA-Decomposition and NFFT-Based Matrix-Vector Products [0.6445605125467574]
最適化問題に対して内部点法で用いられる特徴空間に対して,ANOVA分解を用いた NFFT 加速行列ベクトル積を提案する。いくつかの大規模データセット上で、異なるプリコンディショナーの性能およびANOVAカーネルの性能について検討する。
論文参考訳（メタデータ） (2023-12-01T12:27:11Z)
DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
論文参考訳（メタデータ） (2023-06-08T06:57:07Z)
A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
論文参考訳（メタデータ） (2023-02-06T23:34:51Z)
Late Fusion Multi-view Clustering via Global and Local Alignment Maximization [61.89218392703043]
マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
論文参考訳（メタデータ） (2022-08-02T01:49:31Z)
Handling Imbalanced Classification Problems With Support Vector Machines via Evolutionary Bilevel Optimization [73.17488635491262]
サポートベクトルマシン(SVM)は、バイナリ分類問題に対処する一般的な学習アルゴリズムである。この記事では、EBCS-SVMについて紹介する。
論文参考訳（メタデータ） (2022-04-21T16:08:44Z)
Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-09-30T19:17:35Z)
Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
論文参考訳（メタデータ） (2021-02-27T19:28:39Z)
On the Efficient Implementation of the Matrix Exponentiated Gradient Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
論文参考訳（メタデータ） (2020-12-18T19:14:51Z)
Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix [57.11971786407279]
マルチビュースペクトルクラスタリングは、データ間の固有のクラスタ構造を効果的に明らかにすることができる。本稿では,高次最適近傍ラプラシア行列を学習するマルチビュースペクトルクラスタリングアルゴリズムを提案する。提案アルゴリズムは, 1次ベースと高次ベースの両方の線形結合の近傍を探索し, 最適ラプラシア行列を生成する。
論文参考訳（メタデータ） (2020-08-31T12:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。