論文の概要: Supervised Kernel Thinning

• arxiv url: http://arxiv.org/abs/2410.13749v1
• Date: Thu, 17 Oct 2024 16:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:50.850221
• Title: Supervised Kernel Thinning
• Title（参考訳）: スーパービジョンカーネルの薄膜化
• Authors: Albert Gong, Kyuseong Choi, Raaz Dwivedi,
• Abstract要約: Dwivedi & Mackey (2024) のカーネルスライニングアルゴリズムは、一般的な点集合のより優れた圧縮を提供する。 我々はKTアルゴリズムを一般化し、カーネルメソッドを含む教師付き学習問題を高速化する。
• 参考スコア（独自算出の注目度）: 6.6157730528755065
• License:
• Abstract: The kernel thinning algorithm of Dwivedi & Mackey (2024) provides a better-than-i.i.d. compression of a generic set of points. By generating high-fidelity coresets of size significantly smaller than the input points, KT is known to speed up unsupervised tasks like Monte Carlo integration, uncertainty quantification, and non-parametric hypothesis testing, with minimal loss in statistical accuracy. In this work, we generalize the KT algorithm to speed up supervised learning problems involving kernel methods. Specifically, we combine two classical algorithms--Nadaraya-Watson (NW) regression or kernel smoothing, and kernel ridge regression (KRR)--with KT to provide a quadratic speed-up in both training and inference times. We show how distribution compression with KT in each setting reduces to constructing an appropriate kernel, and introduce the Kernel-Thinned NW and Kernel-Thinned KRR estimators. We prove that KT-based regression estimators enjoy significantly superior computational efficiency over the full-data estimators and improved statistical efficiency over i.i.d. subsampling of the training data. En route, we also provide a novel multiplicative error guarantee for compressing with KT. We validate our design choices with both simulations and real data experiments.
• Abstract（参考訳）: Dwivedi & Mackey (2024) のカーネルシンニングアルゴリズムは、一般的な点集合のより優れた圧縮を提供する。 入力点よりもかなり小さい大きさの高忠実度コアセットを生成することで、KTはモンテカルロ積分、不確実性定量化、および非パラメトリック仮説テストのような教師なしタスクを、統計的精度の最小限の損失で高速化することが知られている。 本研究では,カーネル手法を含む教師付き学習問題を高速化するために,KTアルゴリズムを一般化する。 具体的には、Nadaraya-Watson(NW)回帰とカーネルスムーシングとカーネルリッジ回帰(KRR)の2つの古典的アルゴリズムをKTと組み合わせて、トレーニング時間と推論時間の両方で二次的なスピードアップを提供する。 我々は,各設定におけるKTによる分散圧縮が,適切なカーネルの構築にどのように影響するかを示し,Kernel-Thinned NWおよびKernel-Thinned KRR推定器を紹介する。 KTに基づく回帰推定器は、全データ推定器よりも計算効率が大幅に優れ、訓練データのサブサンプリングよりも統計効率が向上することが証明された。 また、KTで圧縮する際の新しい乗法誤差保証も提供する。 シミュレーションと実データ実験の両方で設計選択を検証する。

関連論文リスト

• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• KSD Aggregated Goodness-of-fit Test [38.45086141837479]
  我々は、異なるカーネルで複数のテストを集約するKSDAggと呼ばれるテストを構築する戦略を導入する。 我々は、KSDAggのパワーに関する漸近的でない保証を提供する。 KSDAggは、他の最先端のKSDベースの適合性試験方法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T00:33:09Z)
• Generalized Kernel Thinning [27.44719786963725]
  Dwivedi and Mackeyのカーネルスライニングアルゴリズム(2021年) 我々は、ターゲットRKHSに直接適用されるKTが、任意のカーネルに対してより厳密で次元に依存しない保証を与えることを示す。 我々は、KT が分数核を持つと、非滑らかなカーネルに対してモンテカルロ MMD の保証がより良くなることを証明した。
  論文  参考訳（メタデータ） (2021-10-04T17:41:53Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• The Fast Kernel Transform [21.001203328543006]
  本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。 FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。 本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
  論文  参考訳（メタデータ） (2021-06-08T16:15:47Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• A New Algorithm for Tessellated Kernel Learning [4.264192013842097]
  カーネルの理想的な集合として、線形パラメータ化(トラクタビリティ)を認めること、(堅牢性のために)すべてのカーネルの集合に密着すること、(正確性のために)普遍的であること、がある。 最近提案されたTesselated Kernels (TK) は、3つの基準を満たす唯一の既知のクラスである。 対照的に、提案した2ステップのアルゴリズムは1万個のデータポイントにスケールし、回帰問題にまで拡張する。
  論文  参考訳（メタデータ） (2020-06-13T18:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。