論文の概要: New random projections for isotropic kernels using stable spectral distributions

• arxiv url: http://arxiv.org/abs/2411.02770v1
• Date: Tue, 05 Nov 2024 03:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:43.869785
• Title: New random projections for isotropic kernels using stable spectral distributions
• Title（参考訳）: 安定スペクトル分布を用いた等方性核の新しいランダム射影
• Authors: Nicolas Langrené, Xavier Warin, Pierre Gruet,
• Abstract要約: スペクトルカーネル分布を$alpha$-stableランダムベクトルのスケール混合として分解する。 結果は、サポートベクターマシン、カーネルリッジレグレッション、その他のカーネルベースの機械学習技術に広く応用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Rahimi and Recht [31] introduced the idea of decomposing shift-invariant kernels by randomly sampling from their spectral distribution. This famous technique, known as Random Fourier Features (RFF), is in principle applicable to any shift-invariant kernel whose spectral distribution can be identified and simulated. In practice, however, it is usually applied to the Gaussian kernel because of its simplicity, since its spectral distribution is also Gaussian. Clearly, simple spectral sampling formulas would be desirable for broader classes of kernel functions. In this paper, we propose to decompose spectral kernel distributions as a scale mixture of $\alpha$-stable random vectors. This provides a simple and ready-to-use spectral sampling formula for a very large class of multivariate shift-invariant kernels, including exponential power kernels, generalized Mat\'ern kernels, generalized Cauchy kernels, as well as newly introduced kernels such as the Beta, Kummer, and Tricomi kernels. In particular, we show that the spectral densities of all these kernels are scale mixtures of the multivariate Gaussian distribution. This provides a very simple way to modify existing Random Fourier Features software based on Gaussian kernels to cover a much richer class of multivariate kernels. This result has broad applications for support vector machines, kernel ridge regression, Gaussian processes, and other kernel-based machine learning techniques for which the random Fourier features technique is applicable.
• Abstract（参考訳）: Rahimi と Recht [31] は、そのスペクトル分布からランダムにサンプリングすることでシフト不変核を分解するというアイデアを導入した。 この有名なテクニックはランダムフーリエ特徴(Random Fourier Features, RFF)と呼ばれ、スペクトル分布を同定しシミュレートできるシフト不変カーネルに原則として適用される。 しかし実際には、スペクトル分布もガウス的であるため、その単純さのため、通常はガウス核に適用される。 明らかに、単純なスペクトルサンプリング公式はより広範なカーネル関数のクラスに望ましい。 本稿では,スペクトルカーネル分布を$\alpha$-stableランダムベクトルのスケール混合として分解する。 これは、指数的パワーカーネル、一般化された Mat\'ern カーネル、一般化された Cauchy カーネル、およびベータ、クンマー、トリコミカーネルなどの新しく導入されたカーネルを含む、非常に大規模な多変量シフト不変カーネルに対して、単純で使用可能なスペクトルサンプリング式を提供する。 特に、これらの核のスペクトル密度は多変量ガウス分布のスケール混合であることを示す。 これは、ガウスカーネルをベースとした既存のランダムフーリエ機能ソフトウェアを、よりリッチなマルチ変数カーネルクラスをカバーするための非常に簡単な方法を提供する。 この結果は, ベクトルマシン, カーネルリッジ回帰, ガウス過程, その他のカーネルベースの機械学習技術に対して, ランダムフーリエ特徴技術の適用範囲が広い。

関連論文リスト

• Variable Hyperparameterized Gaussian Kernel using Displaced Squeezed Vacuum State [2.1408617023874443]
  多モードコヒーレント状態は、ハイパーパラメータの定数値を持つガウス核を生成することができる。 この定数ハイパーパラメータは、複雑な学習問題に適用されるときにガウスカーネルの適用を制限する。 マルチモード変位真空状態の可変ハイパーパラメータ化カーネルを実現する。
  論文  参考訳（メタデータ） (2024-03-18T08:25:56Z)
• Orthogonal Random Features: Explicit Forms and Sharp Inequalities [5.8317379706611385]
  直交乱数特徴に基づくカーネル近似のバイアスと分散を解析する。 正規化されたベッセル関数を用いてこれらの量に対して明示的な表現を提供する。
  論文  参考訳（メタデータ） (2023-10-11T10:40:43Z)
• Kernel Learning by quantum annealer [0.966840768820136]
  本稿では,Boltzmann マシンのカーネル行列への応用について述べる。 ガウス分布では実現不可能なスペクトル分布を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T08:08:03Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain [3.6526103325150383]
  任意の定常マルチ出力カーネルを任意の精度で近似できるカーネルファミリーを提案する。 提案されたカーネルファミリーは、スペクトル混合カーネルの最初のマルチアウトプット一般化である。
  論文  参考訳（メタデータ） (2021-03-11T20:54:51Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。