論文の概要: Towards a Unified Quadrature Framework for Large-Scale Kernel Machines
- arxiv url: http://arxiv.org/abs/2011.01668v2
- Date: Thu, 10 Jun 2021 19:29:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 04:09:00.653105
- Title: Towards a Unified Quadrature Framework for Large-Scale Kernel Machines
- Title（参考訳）: 大規模カーネルマシンのための統一二次フレームワークを目指して
- Authors: Fanghui Liu, Xiaolin Huang, Yudong Chen, and Johan A.K. Suykens
- Abstract要約: 数値積分表現を用いて,大規模カーネルマシンのための二次的フレームワークを開発する。
完全対称補間規則を利用して、カーネル近似のための二次ノードと関連する重みを効率的に計算する。
- 参考スコア（独自算出の注目度）: 35.32894170512829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop a quadrature framework for large-scale kernel
machines via a numerical integration representation. Considering that the
integration domain and measure of typical kernels, e.g., Gaussian kernels,
arc-cosine kernels, are fully symmetric, we leverage deterministic fully
symmetric interpolatory rules to efficiently compute quadrature nodes and
associated weights for kernel approximation. The developed interpolatory rules
are able to reduce the number of needed nodes while retaining a high
approximation accuracy. Further, we randomize the above deterministic rules by
the classical Monte-Carlo sampling and control variates techniques with two
merits: 1) The proposed stochastic rules make the dimension of the feature
mapping flexibly varying, such that we can control the discrepancy between the
original and approximate kernels by tuning the dimnension. 2) Our stochastic
rules have nice statistical properties of unbiasedness and variance reduction
with fast convergence rate. In addition, we elucidate the relationship between
our deterministic/stochastic interpolatory rules and current quadrature rules
for kernel approximation, including the sparse grids quadrature and stochastic
spherical-radial rules, thereby unifying these methods under our framework.
Experimental results on several benchmark datasets show that our methods
compare favorably with other representative kernel approximation based methods.
- Abstract（参考訳）: 本稿では,数値積分表現を用いた大規模カーネルマシンのための二次フレームワークを開発した。
ガウスカーネルやアークコサインカーネルなどの典型的なカーネルの統合領域と測度が完全に対称であることを考えると、決定論的完全対称補間規則を利用してカーネル近似の二次ノードと関連する重みを効率的に計算する。
開発した補間規則は,高い近似精度を維持しつつ,必要なノード数を削減することができる。
さらに、上記の決定論的ルールを古典的モンテカルロサンプリングによりランダム化し、2つの利点で可変化制御する。
1)提案した確率的規則は特徴写像の次元を柔軟に変化させ、ディメンネンションをチューニングすることで原核と近似核の相違を制御できる。
2) この確率則は, 収束率の速い非偏りと分散低減の統計学的性質が良好である。
さらに,我々の決定論的・確率的補間則と,スパース格子や球面半径則を含むカーネル近似の現在の二次規則との関係を解明し,これらの手法を我々の枠組みの下で統一する。
いくつかのベンチマークデータセットによる実験結果から,本手法は他の代表的カーネル近似法と比較した。
関連論文リスト
- Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。
ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳（メタデータ） (2024-05-26T12:25:09Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳（メタデータ） (2023-01-31T18:53:39Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳（メタデータ） (2022-09-26T16:41:16Z) - Random Fourier Features for Asymmetric Kernels [24.20121243104385]
4つの有限正測度に対応する実部と虚部を持つ複素測度を導入し、ボヒナーの定理の適用範囲を広げる。
このフレームワークは、1つの正測度、対称で非正定定定定定定測度、複素測度で非対称核を扱える。
AsK-RFFs法は、いくつかの典型的な大規模データセットに対して実験的に検証され、有望なカーネル近似性能を実現する。
論文 参考訳（メタデータ） (2022-09-18T03:39:18Z) - Self-supervised learning with rotation-invariant kernels [4.059849656394191]
組込み分布を超球面上の均一分布に近接させる汎用正規化損失を設計するための汎用カーネルフレームワークを提案する。
我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネルとも呼ばれる)を使用する。
本実験は, 回転不変カーネルを用いることで, 最先端の手法と比較して, 競合する結果が得られることを示した。
論文 参考訳（メタデータ） (2022-07-28T08:06:24Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Towards Unbiased Random Features with Lower Variance For Stationary
Indefinite Kernels [26.57122949130266]
本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。
もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
論文 参考訳（メタデータ） (2021-04-13T13:56:50Z) - A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann
Machines [2.8021833233819486]
ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。
安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
論文 参考訳（メタデータ） (2020-05-04T15:19:31Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。