論文の概要: Generalized Kernel Thinning

• arxiv url: http://arxiv.org/abs/2110.01593v1
• Date: Mon, 4 Oct 2021 17:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 17:55:27.276024
• Title: Generalized Kernel Thinning
• Title（参考訳）: 一般化カーネル薄片化
• Authors: Raaz Dwivedi, Lester Mackey
• Abstract要約: kernel Thinningアルゴリズムは、$n$ポイントの分布の要約を$sqrt n$ポイントの要約に圧縮する。 対象のカーネルに直接適用されるKTは、カーネルヒルベルト空間における各関数$f$に対して、より厳密な$mathcalO(sqrtlog n/n)$積分誤差をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 25.21711170090549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses an $n$ point distributional summary into a $\sqrt n$ point summary with better-than-Monte-Carlo maximum mean discrepancy for a target kernel $\mathbf{k}$ by leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target kernel yields a tighter $\mathcal{O}(\sqrt{\log n/n})$ integration error bound for each function $f$ in the reproducing kernel Hilbert space. This modification extends the reach of KT to any kernel -- even non-smooth kernels that do not admit a square-root, demonstrates that KT is suitable even for heavy-tailed target distributions, and eliminates the exponential dimension-dependence and $(\log n)^{d/2}$ factors of standard square-root KT. Second, we show that, for analytic kernels, like Gaussian and inverse multiquadric, target kernel KT admits maximum mean discrepancy (MMD) guarantees comparable to square-root KT without the need for an explicit square-root kernel. Third, we prove KT with a fractional $\alpha$-power kernel $\mathbf{k}_{\alpha}$ for $\alpha > 1/2$ yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and \Matern, that do not have square-roots. Fourth, we establish that KT applied to a sum of $\mathbf{k}$ and $\mathbf{k}_{\alpha}$ (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of KT on the target kernel. Finally, we illustrate the practical benefits of target KT and KT+ for compression after high-dimensional independent sampling and challenging Markov chain Monte Carlo posterior inference.
• Abstract（参考訳）: Dwivedi と Mackey (2021) のカーネルシンニング (KT) アルゴリズムは、より滑らかでない平方根のカーネルを利用することで、ターゲットカーネル $\mathbf{k}$ に対するより優れたモンテカルト・カルロの最大平均誤差を、$\sqrt n$ポイントサマリに圧縮する。 ここでは4つの改善がある。 まず、KT をターゲットカーネルに直接適用すると、再生カーネルヒルベルト空間における各関数 $f$ に対して、より厳密な $\mathcal{O}(\sqrt{\log n/n})$積分誤差が生じることを示す。 この修正は、KT の到達範囲を任意のカーネルにまで拡大する -- 平方根を含まない非滑らかなカーネルでさえも、KT は重尾のターゲット分布にも適しており、指数次元依存性と標準平方根 KT の$(\log n)^{d/2}$因子を排除している。 第2に,gaussianやinverse multiquadricのような解析的カーネルでは,ターゲットカーネルktは,明示的な平方根カーネルを必要とせずに,正方根ktに匹敵する最大平均差(mmd)を保証する。 第3に、最小の$\alpha$-power カーネル $\mathbf{k}_{\alpha}$ for $\alpha > 1/2$ で kt を証明すれば、ラプラスや \matern のような正方根を持たない非スムースカーネルに対して、モンテカルロmmdよりも優れた保証が得られる。 第4に、KT が $\mathbf{k}$ と $\mathbf{k}_{\alpha}$ (KT+ と呼ぶ手順) の和に適用されたことが、改良された KT の MMD 保証と、ターゲットカーネル上の KT のより厳密な個々の関数保証を同時に継承することを確立する。 最後に,高次元独立サンプリング後の圧縮に対する標的ktとkt+の実用的効果を示し,マルコフ連鎖モンテカルロ後方推定に挑戦する。

関連論文リスト

• Supervised Kernel Thinning [6.6157730528755065]
  Dwivedi & Mackey (2024) のカーネルスライニングアルゴリズムは、一般的な点集合のより優れた圧縮を提供する。 我々はKTアルゴリズムを一般化し、カーネルメソッドを含む教師付き学習問題を高速化する。
  論文  参考訳（メタデータ） (2024-10-17T16:48:51Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• KSD Aggregated Goodness-of-fit Test [38.45086141837479]
  我々は、異なるカーネルで複数のテストを集約するKSDAggと呼ばれるテストを構築する戦略を導入する。 我々は、KSDAggのパワーに関する漸近的でない保証を提供する。 KSDAggは、他の最先端のKSDベースの適合性試験方法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T00:33:09Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• Isolation Distributional Kernel: A New Tool for Point & Group Anomaly Detection [76.1522587605852]
  分離分散カーネル(IDK)は2つの分布の類似性を測定する新しい方法である。 我々は、カーネルベースの異常検出のための新しいツールとして、IDKの有効性と効率を示す。
  論文  参考訳（メタデータ） (2020-09-24T12:25:43Z)
• Fourier Sparse Leverage Scores and Approximate Kernel Learning [29.104055676527913]
  我々はガウス測度とラプラス測度の両方の下でフーリエ関数のレバレッジスコアに新しい明示的な上限を証明した。 私たちの限界は、機械学習における2つの重要な応用によって動機付けられています。
  論文  参考訳（メタデータ） (2020-06-12T17:25:39Z)
• SimpleMKKM: Simple Multiple Kernel K-means [49.500663154085586]
  単純なマルチカーネルk-means(SimpleMKKM)と呼ばれる,単純で効果的なマルチカーネルクラスタリングアルゴリズムを提案する。 我々の基準は、カーネル係数とクラスタリング分割行列における難解な最小化最大化問題によって与えられる。 クラスタリング一般化誤差の観点から,SimpleMKKMの性能を理論的に解析する。
  論文  参考訳（メタデータ） (2020-05-11T10:06:40Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。