論文の概要: Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel
- arxiv url: http://arxiv.org/abs/2106.09387v1
- Date: Thu, 17 Jun 2021 11:05:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 15:41:21.458364
- Title: Taming Nonconvexity in Kernel Feature Selection---Favorable Properties
of the Laplace Kernel
- Title（参考訳）: カーネルの特徴選択における非凸性処理--ラプラスカーネルの特性-
- Authors: Feng Ruan, Keli Liu, Michael I. Jordan
- Abstract要約: カーネルベースの特徴選択の客観的機能を確立することが課題である。
非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
- 参考スコア（独自算出の注目度）: 77.73399781313893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel-based feature selection is an important tool in nonparametric
statistics. Despite many practical applications of kernel-based feature
selection, there is little statistical theory available to support the method.
A core challenge is the objective function of the optimization problems used to
define kernel-based feature selection are nonconvex. The literature has only
studied the statistical properties of the \emph{global optima}, which is a
mismatch, given that the gradient-based algorithms available for nonconvex
optimization are only able to guarantee convergence to local minima. Studying
the full landscape associated with kernel-based methods, we show that feature
selection objectives using the Laplace kernel (and other $\ell_1$ kernels) come
with statistical guarantees that other kernels, including the ubiquitous
Gaussian kernel (or other $\ell_2$ kernels) do not possess. Based on a sharp
characterization of the gradient of the objective function, we show that
$\ell_1$ kernels eliminate unfavorable stationary points that appear when using
an $\ell_2$ kernel. Armed with this insight, we establish statistical
guarantees for $\ell_1$ kernel-based feature selection which do not require
reaching the global minima. In particular, we establish model-selection
consistency of $\ell_1$-kernel-based feature selection in recovering main
effects and hierarchical interactions in the nonparametric setting with $n \sim
\log p$ samples.
- Abstract（参考訳）: カーネルベースの特徴選択は非パラメトリック統計学において重要なツールである。
カーネルに基づく特徴選択の実用的応用は多いが、この方法をサポートする統計理論はほとんど存在しない。
カーネルベースの特徴選択が非凸であることを定義するのに使用される最適化問題の目的関数である。
この文献は、非凸最適化に使用可能な勾配に基づくアルゴリズムが局所的ミニマへの収束を保証できるだけであることから、不一致である \emph{global optima} の統計的性質のみが研究されている。
ラプラス・カーネル(および他の$\ell_1$カーネル)を用いた機能選択の目的が、ユビキタス・ガウス・カーネル(または他の$\ell_2$カーネル)を含む他のカーネルが持っていないことを統計的に保証していることを示す。
目的関数の勾配の急激な特徴づけに基づいて、$\ell_1$ カーネルは $\ell_2$ カーネルを使用するときに現れる好ましくない定常点を排除する。
この知見に則り、グローバルなミニマに到達する必要のない$\ell_1$カーネルベースの特徴選択の統計的保証を確立する。
特に,$n \sim \log p$サンプルを用いた非パラメトリック設定における主効果と階層的相互作用の回復において,$\ell_1$-kernelに基づく特徴選択のモデル選択一貫性を確立する。
関連論文リスト
- Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。
合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-14T09:32:20Z) - Conditional mean embeddings and optimal feature selection via positive
definite kernels [0.0]
条件付き条件埋め込み(CME)に対する演算子理論的アプローチの検討
本研究は,スペクトル解析に基づく最適化手法と,カーネル,プロセス,構築学習アルゴリズムを併用する。
論文 参考訳（メタデータ） (2023-05-14T08:29:15Z) - Structural Kernel Search via Bayesian Optimization and Symbolical
Optimal Transport [5.1672267755831705]
ガウスのプロセスでは、カーネルの選択は重要なタスクであり、しばしば専門家が手動で行う。
本稿では,カーネル空間を包含する新しい効率的な探索法を提案する。
論文 参考訳（メタデータ） (2022-10-21T09:30:21Z) - Variational Autoencoder Kernel Interpretation and Selection for
Classification [59.30734371401315]
本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。
提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。
サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
論文 参考訳（メタデータ） (2022-09-10T17:22:53Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳（メタデータ） (2020-11-12T16:07:18Z) - Isolation Distributional Kernel: A New Tool for Point & Group Anomaly
Detection [76.1522587605852]
分離分散カーネル(IDK)は2つの分布の類似性を測定する新しい方法である。
我々は、カーネルベースの異常検出のための新しいツールとして、IDKの有効性と効率を示す。
論文 参考訳（メタデータ） (2020-09-24T12:25:43Z) - Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。
重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
論文 参考訳（メタデータ） (2020-03-21T21:41:16Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。