論文の概要: Improved Random Features for Dot Product Kernels

• arxiv url: http://arxiv.org/abs/2201.08712v4
• Date: Tue, 13 Aug 2024 14:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 23:45:34.477564
• Title: Improved Random Features for Dot Product Kernels
• Title（参考訳）: Dot製品カーネルのランダム化機能の改善
• Authors: Jonas Wacker, Motonobu Kanagawa, Maurizio Filippone,
• Abstract要約: 我々はドット製品カーネルのランダムな特徴近似の効率を改善するために、いくつかの新しい貢献をしている。 複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。 一般のドット製品カーネルのランダムな特徴近似を改善するために,データ駆動型最適化手法を開発した。
• 参考スコア（独自算出の注目度）: 12.321353062415701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dot product kernels, such as polynomial and exponential (softmax) kernels, are among the most widely used kernels in machine learning, as they enable modeling the interactions between input features, which is crucial in applications like computer vision, natural language processing, and recommender systems. We make several novel contributions for improving the efficiency of random feature approximations for dot product kernels, to make these kernels more useful in large scale learning. First, we present a generalization of existing random feature approximations for polynomial kernels, such as Rademacher and Gaussian sketches and TensorSRHT, using complex-valued random features. We show empirically that the use of complex features can significantly reduce the variances of these approximations. Second, we provide a theoretical analysis for understanding the factors affecting the efficiency of various random feature approximations, by deriving closed-form expressions for their variances. These variance formulas elucidate conditions under which certain approximations (e.g., TensorSRHT) achieve lower variances than others (e.g., Rademacher sketches), and conditions under which the use of complex features leads to lower variances than real features. Third, by using these variance formulas, which can be evaluated in practice, we develop a data-driven optimization approach to improve random feature approximations for general dot product kernels, which is also applicable to the Gaussian kernel. We describe the improvements brought by these contributions with extensive experiments on a variety of tasks and datasets.
• Abstract（参考訳）: 多項式や指数関数(ソフトマックス)カーネルなどのDot製品カーネルは、コンピュータビジョン、自然言語処理、レコメンダシステムといったアプリケーションにおいて重要な入力特徴間の相互作用をモデル化できるため、機械学習において最も広く使われているカーネルの一つである。 我々は、ドット製品カーネルのランダムな特徴近似の効率を改善するために、これらのカーネルを大規模学習に役立てるために、いくつかの新しい貢献をしている。 まず,Radecher や Gaussian のスケッチや TensorSRHT などの多項式カーネルに対して,複素値のランダムな特徴を用いた既存のランダムな特徴近似を一般化する。 複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。 第2に,様々な乱数特徴量の近似の効率に影響を与える因子を,その分散に対する閉形式表現を導出することにより,理論的解析を行う。 これらの分散公式は、ある近似(例えば、TensorSRHT)が他よりも低い分散(例えば、Rademacherのスケッチ)を達成する条件を解明する。 第三に、これらの分散式を実際に評価できるので、一般のドット製品カーネルのランダムな特徴近似を改善するためのデータ駆動最適化手法を開発し、ガウスカーネルにも適用できる。 これらの貢献によってもたらされた改善と、さまざまなタスクやデータセットに関する広範な実験について説明する。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Approximation properties relative to continuous scale space for hybrid discretizations of Gaussian derivative operators [0.5439020425819]
  本稿ではガウス微分に対する2つのハイブリッド離散化法の特性について解析する。 これらの離散化手法を研究する動機は、異なる順序の複数の空間微分が同じスケールレベルで必要である場合、より効率的に計算できることである。
  論文  参考訳（メタデータ） (2024-05-08T14:44:34Z)
• Posterior Contraction Rates for Mat\'ern Gaussian Processes on Riemannian Manifolds [51.68005047958965]
  我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。 我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
  論文  参考訳（メタデータ） (2023-09-19T20:30:58Z)
• Tanimoto Random Features for Scalable Molecular Machine Learning [2.5112706394511766]
  そこで本研究では,Tanimotoカーネルを大規模データセットにスケールアップするための2種類の新しいランダムな特徴を提案する。 これらのランダムな特徴は実世界のデータセットの谷本係数の近似に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-26T16:11:11Z)
• Local Random Feature Approximations of the Gaussian Kernel [14.230653042112834]
  本稿では,一般的なガウスカーネルと,ランダムな特徴近似を用いてカーネルベースモデルを線形化する手法に着目する。 このような手法は、高周波データをモデル化する際、悪い結果をもたらすことを示すとともに、カーネル近似と下流性能を大幅に改善する新たなローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:36Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)
• Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware Gaussian Processes [0.0]
  再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。 いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
  論文  参考訳（メタデータ） (2021-02-05T22:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。