論文の概要: Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures
- arxiv url: http://arxiv.org/abs/2006.00247v3
- Date: Tue, 9 Feb 2021 14:20:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 17:32:08.622869
- Title: Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures
- Title(参考訳): 符号付き手法によるカーネルクライン空間の高速学習
- Authors: Fanghui Liu, Xiaolin Huang, Yingyi Chen, and Johan A.K. Suykens
- Abstract要約: 我々はこの質問を,強調指標を導入することで,分布視点として捉えた。
一連の非PDカーネルは、特定の有限ボレル測度の線型結合に関連付けられる。
特に、このソリューションは、大規模なサンプルケースで非PDカーネルをスケールするために、実際に計算的に実装可能である。
- 参考スコア(独自算出の注目度): 31.986482149142503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we attempt to solve a long-lasting open question for
non-positive definite (non-PD) kernels in machine learning community: can a
given non-PD kernel be decomposed into the difference of two PD kernels (termed
as positive decomposition)? We cast this question as a distribution view by
introducing the \emph{signed measure}, which transforms positive decomposition
to measure decomposition: a series of non-PD kernels can be associated with the
linear combination of specific finite Borel measures. In this manner, our
distribution-based framework provides a sufficient and necessary condition to
answer this open question. Specifically, this solution is also computationally
implementable in practice to scale non-PD kernels in large sample cases, which
allows us to devise the first random features algorithm to obtain an unbiased
estimator. Experimental results on several benchmark datasets verify the
effectiveness of our algorithm over the existing methods.
- Abstract(参考訳): 本稿では、機械学習コミュニティにおける非正定値(非PD)カーネルに対する長期的未解決問題の解決を試みる: 与えられた非PDカーネルを2つのPDカーネルの差(正分解とみなす)に分解できるか?
我々はこの問題を分布論として、正の分解を分解を測るために変換する \emph{signed measure} を導入することで示した: 一連の非PDカーネルは特定の有限ボレル測度の線形結合に関連付けられる。
このように、分布ベースのフレームワークは、このオープンな質問に答えるために十分な、必要な条件を提供します。
特に, この手法は, 非PDカーネルを大規模サンプルに適用するために, 計算的に実装可能であり, ランダム特徴量アルゴリズムを考案し, 偏りのない推定値が得られる。
いくつかのベンチマークデータセットの実験結果から,既存手法に対するアルゴリズムの有効性が検証された。
関連論文リスト
- On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。
私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文 参考訳(メタデータ) (2023-07-14T13:56:11Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳(メタデータ) (2023-04-21T17:17:51Z) - Coefficient-based Regularized Distribution Regression [4.21768682940933]
我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。
回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。
最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
論文 参考訳(メタデータ) (2022-08-26T03:46:14Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-06-18T08:33:45Z) - Simple and Near-Optimal MAP Inference for Nonsymmetric DPPs [3.3504365823045044]
非対称なカーネル行列によって定義される決定点過程に対する最大後続推定(MAP)問題について検討する。
局所探索を用いてこの問題に対する最初の乗法近似保証を得る。
近似係数が$kO(k)$ に近いので、理論上、実験的に、この問題に対する最先端の手法と好適に比較できることが示される。
論文 参考訳(メタデータ) (2021-02-10T09:34:44Z) - Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。
提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。
我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
論文 参考訳(メタデータ) (2020-10-09T01:10:08Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳(メタデータ) (2020-06-11T19:40:38Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳(メタデータ) (2020-01-15T23:10:13Z) - Randomly Projected Additive Gaussian Processes for Regression [37.367935314532154]
GPレグレッションにはカーネルの加算和を使用し、各カーネルはその入力の異なるランダムなプロジェクションで動作する。
この収束とその速度を証明し、純粋にランダムな射影よりも早く収束する決定論的アプローチを提案する。
論文 参考訳(メタデータ) (2019-12-30T07:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。