Fugu-MT 論文翻訳(概要): Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition

論文の概要: Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition

arxiv url: http://arxiv.org/abs/2402.02438v2
Date: Wed, 4 Sep 2024 14:14:17 GMT
ステータス: 処理完了
システム内更新日: 2024-09-07 03:56:02.602556
Title: Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition
Title（参考訳）: 乱れANOVA分解に基づく高速かつ解釈可能な支援ベクトル分類
Authors: Kseniya Akhalaya, Franziska Nestler, Daniel Potts,
Abstract要約: サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Support Vector Machines (SVMs) are an important tool for performing classification on scattered data, where one usually has to deal with many data points in high-dimensional spaces. We propose solving SVMs in primal form using feature maps based on trigonometric functions or wavelets. In small dimensional settings the Fast Fourier Transform (FFT) and related methods are a powerful tool in order to deal with the considered basis functions. For growing dimensions the classical FFT-based methods become inefficient due to the curse of dimensionality. Therefore, we restrict ourselves to multivariate basis functions, each of which only depends on a small number of dimensions. This is motivated by the well-known sparsity of effects and recent results regarding the reconstruction of functions from scattered data in terms of truncated analysis of variance (ANOVA) decompositions, which makes the resulting model even interpretable in terms of importance of the features as well as their couplings. The usage of small superposition dimensions has the consequence that the computational effort no longer grows exponentially but only polynomially with respect to the dimension. In order to enforce sparsity regarding the basis coefficients, we use the frequently applied $\ell_2$-norm and, in addition, $\ell_1$-norm regularization. The found classifying function, which is the linear combination of basis functions, and its variance can then be analyzed in terms of the classical ANOVA decomposition of functions. Based on numerical examples we show that we are able to recover the signum of a function that perfectly fits our model assumptions. Furthermore, we perform classification on different artificial and real-world data sets. We obtain better results with $\ell_1$-norm regularization, both in terms of accuracy and clarity of interpretability.
Abstract（参考訳）: サポートベクトルマシン(SVM)は、高次元空間において多くのデータポイントを扱う必要がある分散データの分類を行うための重要なツールである。三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。小次元設定では、Fast Fourier Transform (FFT) と関連する手法は、考慮された基底関数を扱うための強力なツールである。成長する次元に対して、古典的なFFTベースの手法は次元性の呪いのために非効率になる。したがって、我々は自分自身を多変量基底関数に制限し、それぞれが少数の次元にのみ依存する。これは、よく知られた効果の空間性と、分散データからの分散分解(ANOVA)の切り離し解析による関数の再構成に関する最近の結果によって動機付けられ、結果として得られるモデルは特徴の重要性や結合性の観点からも解釈可能である。小さな重ね合わせ次元の使用は、計算努力がもはや指数関数的にではなく、次元に関して多項式的にのみ増大する結果をもたらす。基底係数に関する疎度を強制するために、頻繁に適用される $\ell_2$-norm と、さらに $\ell_1$-norm 正規化を用いる。発見された分類関数は基底関数の線型結合であり、その分散は関数の古典的 ANOVA 分解の観点から解析することができる。数値的な例から、モデル仮定に完全に適合する関数の符号を復元できることが示される。さらに,異なる人工および実世界のデータセットの分類を行う。精度と解釈可能性の明確さの両面から,$\ell_1$-norm正規化によるより良い結果が得られる。

関連論文リスト

Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
On the use of the Gram matrix for multivariate functional principal components analysis [0.0]
機能的データ分析(FDA)における次元減少の重要性関数主成分分析の既存のアプローチは、通常共分散作用素の対角化を伴う。本稿では,曲線間の内部積を用いて多変量および多次元関数的データセットの固有値を推定する。
論文参考訳（メタデータ） (2023-06-22T15:09:41Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
Functional Nonlinear Learning [0.0]
低次元特徴空間における多変量関数データを表現する機能非線形学習法(FunNoL)を提案する。本研究では,FunNoLがデータ間隔によらず,良好な曲線分類と再構成を提供することを示す。
論文参考訳（メタデータ） (2022-06-22T23:47:45Z)
Decoupling multivariate functions using a nonparametric filtered tensor decomposition [0.29360071145551075]
疎結合技術は、非線形性の代替表現を提供することを目的としている。いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-23T09:34:17Z)
Efficient Multidimensional Functional Data Analysis Using Marginal Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文参考訳（メタデータ） (2021-07-30T16:02:15Z)
Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。提案する最適化アルゴリズムを用いて効率的に解くことができる。
論文参考訳（メタデータ） (2021-03-24T21:17:17Z)
Learning Aggregation Functions [78.47770735205134]
任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
論文参考訳（メタデータ） (2020-12-15T18:28:53Z)
Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文参考訳（メタデータ） (2020-07-05T18:58:47Z)
Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。本稿では,データから非自明な相関関係を推定する。本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
論文参考訳（メタデータ） (2020-03-23T17:34:06Z)
Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。