論文の概要: Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition
- arxiv url: http://arxiv.org/abs/2402.02438v2
- Date: Wed, 4 Sep 2024 14:14:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 03:56:02.602556
- Title: Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition
- Title（参考訳）: 乱れANOVA分解に基づく高速かつ解釈可能な支援ベクトル分類
- Authors: Kseniya Akhalaya, Franziska Nestler, Daniel Potts,
- Abstract要約: サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。
三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Support Vector Machines (SVMs) are an important tool for performing classification on scattered data, where one usually has to deal with many data points in high-dimensional spaces. We propose solving SVMs in primal form using feature maps based on trigonometric functions or wavelets. In small dimensional settings the Fast Fourier Transform (FFT) and related methods are a powerful tool in order to deal with the considered basis functions. For growing dimensions the classical FFT-based methods become inefficient due to the curse of dimensionality. Therefore, we restrict ourselves to multivariate basis functions, each of which only depends on a small number of dimensions. This is motivated by the well-known sparsity of effects and recent results regarding the reconstruction of functions from scattered data in terms of truncated analysis of variance (ANOVA) decompositions, which makes the resulting model even interpretable in terms of importance of the features as well as their couplings. The usage of small superposition dimensions has the consequence that the computational effort no longer grows exponentially but only polynomially with respect to the dimension. In order to enforce sparsity regarding the basis coefficients, we use the frequently applied $\ell_2$-norm and, in addition, $\ell_1$-norm regularization. The found classifying function, which is the linear combination of basis functions, and its variance can then be analyzed in terms of the classical ANOVA decomposition of functions. Based on numerical examples we show that we are able to recover the signum of a function that perfectly fits our model assumptions. Furthermore, we perform classification on different artificial and real-world data sets. We obtain better results with $\ell_1$-norm regularization, both in terms of accuracy and clarity of interpretability.
- Abstract（参考訳）: サポートベクトルマシン(SVM)は、高次元空間において多くのデータポイントを扱う必要がある分散データの分類を行うための重要なツールである。
三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
小次元設定では、Fast Fourier Transform (FFT) と関連する手法は、考慮された基底関数を扱うための強力なツールである。
成長する次元に対して、古典的なFFTベースの手法は次元性の呪いのために非効率になる。
したがって、我々は自分自身を多変量基底関数に制限し、それぞれが少数の次元にのみ依存する。
これは、よく知られた効果の空間性と、分散データからの分散分解(ANOVA)の切り離し解析による関数の再構成に関する最近の結果によって動機付けられ、結果として得られるモデルは特徴の重要性や結合性の観点からも解釈可能である。
小さな重ね合わせ次元の使用は、計算努力がもはや指数関数的にではなく、次元に関して多項式的にのみ増大する結果をもたらす。
基底係数に関する疎度を強制するために、頻繁に適用される $\ell_2$-norm と、さらに $\ell_1$-norm 正規化を用いる。
発見された分類関数は基底関数の線型結合であり、その分散は関数の古典的 ANOVA 分解の観点から解析することができる。
数値的な例から、モデル仮定に完全に適合する関数の符号を復元できることが示される。
さらに,異なる人工および実世界のデータセットの分類を行う。
精度と解釈可能性の明確さの両面から,$\ell_1$-norm正規化によるより良い結果が得られる。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - On the use of the Gram matrix for multivariate functional principal components analysis [0.0]
機能的データ分析(FDA)における次元減少の重要性
関数主成分分析の既存のアプローチは、通常共分散作用素の対角化を伴う。
本稿では,曲線間の内部積を用いて多変量および多次元関数的データセットの固有値を推定する。
論文 参考訳（メタデータ） (2023-06-22T15:09:41Z) - Interpretable Linear Dimensionality Reduction based on Bias-Variance
Analysis [45.3190496371625]
本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。
このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
論文 参考訳（メタデータ） (2023-03-26T14:30:38Z) - Functional Nonlinear Learning [0.0]
低次元特徴空間における多変量関数データを表現する機能非線形学習法(FunNoL)を提案する。
本研究では,FunNoLがデータ間隔によらず,良好な曲線分類と再構成を提供することを示す。
論文 参考訳（メタデータ） (2022-06-22T23:47:45Z) - Efficient Multidimensional Functional Data Analysis Using Marginal
Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。
本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。
我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文 参考訳（メタデータ） (2021-07-30T16:02:15Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。
FNMFはその重要性に応じて特徴の重みを適応的に学習する。
提案する最適化アルゴリズムを用いて効率的に解くことができる。
論文 参考訳（メタデータ） (2021-03-24T21:17:17Z) - Learning Aggregation Functions [78.47770735205134]
任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。
半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
論文 参考訳（メタデータ） (2020-12-15T18:28:53Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳（メタデータ） (2020-07-05T18:58:47Z) - Online stochastic gradient descent on non-convex losses from
high-dimensional inference [2.2344764434954256]
勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。
本稿では,データから非自明な相関関係を推定する。
本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
論文 参考訳（メタデータ） (2020-03-23T17:34:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。