論文の概要: Random Fourier Features for Asymmetric Kernels

• arxiv url: http://arxiv.org/abs/2209.08461v1
• Date: Sun, 18 Sep 2022 03:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 18:54:12.425839
• Title: Random Fourier Features for Asymmetric Kernels
• Title（参考訳）: 非対称カーネルのランダムフーリエ特性
• Authors: Mingzhen He and Fan He and Fanghui Liu and Xiaolin Huang
• Abstract要約: 4つの有限正測度に対応する実部と虚部を持つ複素測度を導入し、ボヒナーの定理の適用範囲を広げる。 このフレームワークは、1つの正測度、対称で非正定定定定定定測度、複素測度で非対称核を扱える。 AsK-RFFs法は、いくつかの典型的な大規模データセットに対して実験的に検証され、有望なカーネル近似性能を実現する。
• 参考スコア（独自算出の注目度）: 24.20121243104385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The random Fourier features (RFFs) method is a powerful and popular technique in kernel approximation for scalability of kernel methods. The theoretical foundation of RFFs is based on the Bochner theorem that relates symmetric, positive definite (PD) functions to probability measures. This condition naturally excludes asymmetric functions with a wide range applications in practice, e.g., directed graphs, conditional probability, and asymmetric kernels. Nevertheless, understanding asymmetric functions (kernels) and its scalability via RFFs is unclear both theoretically and empirically. In this paper, we introduce a complex measure with the real and imaginary parts corresponding to four finite positive measures, which expands the application scope of the Bochner theorem. By doing so, this framework allows for handling classical symmetric, PD kernels via one positive measure; symmetric, non-positive definite kernels via signed measures; and asymmetric kernels via complex measures, thereby unifying them into a general framework by RFFs, named AsK-RFFs. Such approximation scheme via complex measures enjoys theoretical guarantees in the perspective of the uniform convergence. In algorithmic implementation, to speed up the kernel approximation process, which is expensive due to the calculation of total mass, we employ a subset-based fast estimation method that optimizes total masses on a sub-training set, which enjoys computational efficiency in high dimensions. Our AsK-RFFs method is empirically validated on several typical large-scale datasets and achieves promising kernel approximation performance, which demonstrate the effectiveness of AsK-RFFs.
• Abstract（参考訳）: ランダムフーリエ法 (RFFs) はカーネル法の拡張性に対するカーネル近似において強力で一般的な手法である。 RFFの理論的基礎は、対称正定値(PD)関数と確率測度を関連付けるボヒナーの定理に基づいている。 この条件は、例えば有向グラフ、条件確率、非対称カーネルなど、実際には幅広い応用を持つ非対称関数を自然に除外する。 それでも、非対称関数(カーネル)と RFF によるスケーラビリティの理解は理論的にも経験的にも不明確である。 本稿では, 4つの有限正測度に対応する実部と虚部からなる複素測度を導入し,bochner定理の適用範囲を拡大する。 これにより、このフレームワークは古典対称のPDカーネルを1つの正の測度、対称で非正の定値カーネルを符号付き測度、非対称カーネルを複素測度で扱えるようになり、その結果、AsK-RFFと呼ばれるRAFによって一般のフレームワークに統一される。 複素測度によるそのような近似スキームは、一様収束の観点から理論的な保証を享受する。 アルゴリズムの実装では,総質量の計算で費用がかかるカーネル近似プロセスを高速化するために,サブトレーニング集合上の総質量を最適化するサブセットベース高速推定法を採用し,高次元の計算効率を享受する。 AsK-RFFs法は、いくつかの典型的な大規模データセットに対して実験的に検証され、AsK-RFFsの有効性を示す有望なカーネル近似性能を実現する。

関連論文リスト

• Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
  ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。 我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Posterior Contraction Rates for Mat\'ern Gaussian Processes on Riemannian Manifolds [51.68005047958965]
  我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。 我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
  論文  参考訳（メタデータ） (2023-09-19T20:30:58Z)
• Online Statistical Inference for Nonlinear Stochastic Approximation with Markovian Data [22.59079286063505]
  マルコフデータの単一軌跡を用いた非線形近似アルゴリズムの統計的推定について検討した。 本手法は,自動回帰データや非同期Q-Learningにおけるグラディエント・Descent (SGD) など,様々なシナリオで実用化されている。
  論文  参考訳（メタデータ） (2023-02-15T14:31:11Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Formalization of a Stochastic Approximation Theorem [0.22940141855172028]
  近似アルゴリズムは、ターゲットが不明な環境でターゲット値を近似するために使用される反復的な手順である。 もともとは1951年にRobinsとMonroによって発表された論文で、近似の分野は飛躍的に成長し、応用領域に影響を与えている。
  論文  参考訳（メタデータ） (2022-02-12T02:31:14Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Simple and Near-Optimal MAP Inference for Nonsymmetric DPPs [3.3504365823045044]
  非対称なカーネル行列によって定義される決定点過程に対する最大後続推定(MAP)問題について検討する。 局所探索を用いてこの問題に対する最初の乗法近似保証を得る。 近似係数が$kO(k)$ に近いので、理論上、実験的に、この問題に対する最先端の手法と好適に比較できることが示される。
  論文  参考訳（メタデータ） (2021-02-10T09:34:44Z)
• Towards a Unified Quadrature Framework for Large-Scale Kernel Machines [35.32894170512829]
  数値積分表現を用いて,大規模カーネルマシンのための二次的フレームワークを開発する。 完全対称補間規則を利用して、カーネル近似のための二次ノードと関連する重みを効率的に計算する。
  論文  参考訳（メタデータ） (2020-11-03T12:48:07Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。