論文の概要: Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering

• arxiv url: http://arxiv.org/abs/2006.13567v1
• Date: Wed, 24 Jun 2020 08:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:24:35.682576
• Title: Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
• Title（参考訳）: Off-the-grid:カーネルクラスタリングのための高速かつ効果的なハイパーパラメータ探索
• Authors: Bruno Ordozgoiti and Llu\'is A. Belanche Mu\~noz
• Abstract要約: カーネルパラメータがカーネル$k$-meansに与える影響について検討する。 特に、以下に、RBFカーネルのパラメータがカーネル$k$-meansを無意味にレンダリングする、定数要素までの低いバウンダリを導出する。
• 参考スコア（独自算出の注目度）: 2.304694255100371
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Kernel functions are a powerful tool to enhance the $k$-means clustering algorithm via the kernel trick. It is known that the parameters of the chosen kernel function can have a dramatic impact on the result. In supervised settings, these can be tuned via cross-validation, but for clustering this is not straightforward and heuristics are usually employed. In this paper we study the impact of kernel parameters on kernel $k$-means. In particular, we derive a lower bound, tight up to constant factors, below which the parameter of the RBF kernel will render kernel $k$-means meaningless. We argue that grid search can be ineffective for hyperparameter search in this context and propose an alternative algorithm for this purpose. In addition, we offer an efficient implementation based on fast approximate exponentiation with provable quality guarantees. Our experimental results demonstrate the ability of our method to efficiently reveal a rich and useful set of hyperparameter values.
• Abstract（参考訳）: Kernel関数は、カーネルトリックを通じて$k$-meansクラスタリングアルゴリズムを強化する強力なツールである。 選択されたカーネル関数のパラメータが結果に劇的な影響を与えることが知られている。 教師付き設定では、これらはクロスバリデーションによって調整できるが、クラスタリングでは単純ではなく、通常はヒューリスティックが使用される。 本稿ではカーネルパラメータがカーネル$k$-meansに与える影響について検討する。 特に、以下に、RBFカーネルのパラメータがカーネル$k$-meansを無意味にレンダリングする、定数要素までの低い境界を導出する。 この文脈ではグリッドサーチはハイパーパラメーター探索には有効ではないと論じ、これに代わるアルゴリズムを提案する。 さらに,証明可能な品質保証を伴う高速近似指数に基づく効率的な実装を提案する。 実験により,提案手法が高パラメータ値のリッチで有用な集合を効率的に明らかにできることが実証された。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
  RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。 提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。 私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
  論文  参考訳（メタデータ） (2022-11-11T18:50:34Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• The Statistical Cost of Robust Kernel Hyperparameter Tuning [20.42751031392928]
  対向雑音下での能動回帰の設定におけるカーネルハイパーパラメータチューニングの統計的複雑さについて検討した。 カーネルクラスの複雑性の増大がカーネルハイパーパラメータの学習の複雑さを増大させるのを特徴付け、この問題に対する有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2020-06-14T21:56:33Z)
• SimpleMKKM: Simple Multiple Kernel K-means [49.500663154085586]
  単純なマルチカーネルk-means(SimpleMKKM)と呼ばれる,単純で効果的なマルチカーネルクラスタリングアルゴリズムを提案する。 我々の基準は、カーネル係数とクラスタリング分割行列における難解な最小化最大化問題によって与えられる。 クラスタリング一般化誤差の観点から,SimpleMKKMの性能を理論的に解析する。
  論文  参考訳（メタデータ） (2020-05-11T10:06:40Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。