論文の概要: A mixture representation of the spectral distribution of isotropic kernels with application to random Fourier features

• arxiv url: http://arxiv.org/abs/2411.02770v2
• Date: Thu, 23 Jan 2025 13:11:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:39.410447
• Title: A mixture representation of the spectral distribution of isotropic kernels with application to random Fourier features
• Title（参考訳）: 等方性核のスペクトル分布の混合表現とランダムフーリエ特徴への応用
• Authors: Nicolas Langrené, Xavier Warin, Pierre Gruet,
• Abstract要約: 任意の正定値等方性カーネルのスペクトル分布は$alpha$-stableランダムベクトルのスケール混合として分解可能であることを示す。 この構成的分解は、多変量正定値シフト不変カーネル毎に単純かつ使用可能なスペクトルサンプリング式を提供する。 この結果は、サポートベクターマシン、カーネルリッジ回帰、ガウス過程、その他のカーネルベースの機械学習技術に広く応用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Rahimi and Recht (2007) introduced the idea of decomposing positive definite shift-invariant kernels by randomly sampling from their spectral distribution. This famous technique, known as Random Fourier Features (RFF), is in principle applicable to any such kernel whose spectral distribution can be identified and simulated. In practice, however, it is usually applied to the Gaussian kernel because of its simplicity, since its spectral distribution is also Gaussian. Clearly, simple spectral sampling formulas would be desirable for broader classes of kernels. In this paper, we prove that the spectral distribution of every positive definite isotropic kernel can be decomposed as a scale mixture of $\alpha$-stable random vectors, and we identify the scaling distribution as a function of the kernel. This constructive decomposition provides a simple and ready-to-use spectral sampling formula for every multivariate positive definite shift-invariant kernel, including exponential power kernels, generalized Mat\'ern kernels, generalized Cauchy kernels, as well as newly introduced kernels such as the Beta, Kummer, and Tricomi kernels. In particular, we show that the spectral distributions of these kernels are scale mixtures of the multivariate Gaussian distribution. This provides a very simple way to adapt existing random Fourier features software based on Gaussian kernels to any positive definite shift-invariant kernel. This result has broad applications for support vector machines, kernel ridge regression, Gaussian processes, and other kernel-based machine learning techniques for which the random Fourier features technique is applicable.
• Abstract（参考訳）: Rahimi and Recht (2007) は、そのスペクトル分布からランダムにサンプリングすることで正定値シフト不変核を分解するというアイデアを導入した。 この有名なテクニックはランダムフーリエ特徴(Random Fourier Features, RFF)と呼ばれ、スペクトル分布を同定しシミュレートできる任意のカーネルに適用できる。 しかし実際には、スペクトル分布もガウス的であるため、その単純さから一般にガウス核に適用される。 明らかに、単純なスペクトルサンプリング公式はより広範なカーネルのクラスに望ましい。 本稿では,任意の正定値等方性カーネルのスペクトル分布を$\alpha$-stableランダムベクトルのスケール混合として分解できることを証明し,スケーリング分布をカーネルの関数として同定する。 この構成的分解は、指数的パワーカーネル、一般化されたMat\'ernカーネル、一般化されたコーシーカーネル、およびベータ、クンマー、トリコミカーネルなどの新しく導入されたカーネルを含む、すべての多変量正定シフト不変カーネルに対して、単純で使用可能なスペクトルサンプリング式を提供する。 特に、これらのカーネルのスペクトル分布は多変量ガウス分布のスケール混合であることを示す。 これにより、ガウスカーネルをベースとした既存のランダムフーリエ機能ソフトウェアを任意の正定シフト不変カーネルに適応する非常に簡単な方法が提供される。 この結果は, ベクトルマシン, カーネルリッジ回帰, ガウス過程, その他のカーネルベースの機械学習技術に対して, ランダムフーリエ特徴技術の適用範囲が広い。

関連論文リスト

• Variable Hyperparameterized Gaussian Kernel using Displaced Squeezed Vacuum State [2.1408617023874443]
  多モードコヒーレント状態は、ハイパーパラメータの定数値を持つガウス核を生成することができる。 この定数ハイパーパラメータは、複雑な学習問題に適用されるときにガウスカーネルの適用を制限する。 マルチモード変位真空状態の可変ハイパーパラメータ化カーネルを実現する。
  論文  参考訳（メタデータ） (2024-03-18T08:25:56Z)
• Orthogonal Random Features: Explicit Forms and Sharp Inequalities [5.8317379706611385]
  直交乱数特徴に基づくカーネル近似のバイアスと分散を解析する。 正規化されたベッセル関数を用いてこれらの量に対して明示的な表現を提供する。
  論文  参考訳（メタデータ） (2023-10-11T10:40:43Z)
• Kernel Learning by quantum annealer [0.966840768820136]
  本稿では,Boltzmann マシンのカーネル行列への応用について述べる。 ガウス分布では実現不可能なスペクトル分布を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T08:08:03Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain [3.6526103325150383]
  任意の定常マルチ出力カーネルを任意の精度で近似できるカーネルファミリーを提案する。 提案されたカーネルファミリーは、スペクトル混合カーネルの最初のマルチアウトプット一般化である。
  論文  参考訳（メタデータ） (2021-03-11T20:54:51Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。