論文の概要: Revisiting Thinning Methods for Kernel Learning Problems

• arxiv url: http://arxiv.org/abs/2609.07432v1
• Date: Mon, 07 Sep 2026 12:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.425612
• Title: Revisiting Thinning Methods for Kernel Learning Problems
• Title（参考訳）: カーネル学習問題に対する再検討
• Abstract要約: カーネル法は理論上の強い保証と経験的性能のために広く用いられている。 高計算コストは大規模データセットに適用性を制限する。 本稿では,現在の最先端手法に匹敵する結果を得るアルゴリズムであるBackward Kernel Herdingを紹介する。 また、任意のサイズの部分集合の構築を可能にする拡張を提案することで、カーネルシンニングの制限を克服する。
• 参考スコア（独自算出の注目度）: 0.38498574327875934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel methods are widely used because of their strong theoretical guarantees and empirical performance. However, their high computational cost limits their applicability to large-scale datasets. To address this shortcoming, several approaches use Maximum Mean Discrepancy to construct representative subsets that preserve the properties of the full dataset in a Reproducing Kernel Hilbert Space. We introduce Backward Kernel Herding, an algorithm that addresses this problem by iteratively removing points from the dataset, achieving results comparable to current state-of-the-art approaches while accelerating the subsampling process in realistic scenarios where the reduced size is less than half of the dataset. Moreover, we overcome a limitation of Kernel Thinning by proposing an extension that enables the construction of subsets of arbitrary size rather that restricting to successive halvings. Finally, we conduct an extensive experimental comparison focusing on the most relevant kernel learning procedures: Gaussian Processes and Kernel Support Vector Machines. The results show that Backward Kernel Herding consistently achieves competitive performance with the most favorable training-time efficiency, while the proposed Flexible Kernel Thinning frequently achieves the best predictive performance. These gains become especially pronounced for moderate compression ratios, highlighting the benefits of incorporating supervised information into the thinning process. In terms of memory consumption, Flexible Kernel Thinning is also competitive, whereas Backward Kernel Herding remains an alternative when computational efficiency is the primary objective. Overall, no single method dominates across all scenarios, underscoring the importance of selecting the reduction strategy according to the desired trade-off between predictive performance, training cost, and memory requirements.
• Abstract（参考訳）: カーネル法は理論上の強い保証と経験的性能のために広く用いられている。 しかし、その計算コストが高いため、大規模データセットの適用性が制限される。 この欠点に対処するため、いくつかのアプローチではMaximum Mean Discrepancyを使用して、Reproduction Kernel Hilbert Space内の完全なデータセットのプロパティを保存する代表部分集合を構築している。 我々は、データセットからポイントを反復的に取り除き、現在の最先端のアプローチに匹敵する結果を達成するとともに、データセットの半分未満の縮小サイズの現実的なシナリオでサブサンプリングプロセスを加速するアルゴリズムであるBackward Kernel Herdingを紹介した。 さらに, カーネル・シンニングの限界を克服するために, 任意のサイズの部分集合を構成することができる拡張を提案し, 連続する半減算に制限を加える。 最後に、最も関連するカーネル学習手順であるGaussian ProcessesとKernel Support Vector Machinesに焦点を当てた広範な実験的な比較を行う。 提案したフレキシブルカーネルシンニングは最高の予測性能を頻繁に達成するのに対し,バックワードカーネルハーディングはトレーニング時間効率が最もよい競争性能を常に達成していることを示す。 これらの利得は、中程度の圧縮比で特に顕著になり、教師付き情報を薄型化プロセスに組み込むことの利点を強調している。 メモリ消費の面では、フレキシブルカーネルシンニングも競争力があり、計算効率が主な目的である場合、バックワードカーネルハーディングが代替となる。 全体として、予測性能、トレーニングコスト、メモリ要求の間のトレードオフによって、削減戦略を選択することの重要性が強調されている。

関連論文リスト

• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Scalable Gaussian Processes with Low-Rank Deep Kernel Decomposition [7.532273334759435]
  カーネルはガウス過程(GP)モデルにおいて、事前の信念とデータ構造を符号化する鍵である。 ディープカーネル学習は、標準的なパラメトリック形式を適用する前に、ニューラルネットワークを介して入力を入力することで、カーネルの柔軟性を向上させる。 我々は、ニューラルネットワークが直接低ランクカーネルを表現する、完全にデータ駆動でスケーラブルなディープカーネル表現を導入する。
  論文  参考訳（メタデータ） (2025-05-24T05:42:11Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Fast Asymmetric Factorization for Large Scale Multiple Kernel Clustering [5.21777096853979]
  マルチカーネルクラスタリング(MKC)は、クラスタリングのための複数のベースカーネルからの情報の融合を可能にするソリューションとして登場した。 本稿では,局所回帰にインスパイアされた新しいスパースカーネル行列を構築し,メモリ効率を実現するための効率的な多重カーネル概念因子化(EMKCF)を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:29:12Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence [0.18416014644193063]
  我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。 検討されたすべての方法は、支配的なカーネルスペクトルを近似するために、インジェクション(カーネル)列の代表的なサブセットを特定することを目的としている。
  論文  参考訳（メタデータ） (2022-12-24T13:45:50Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Fast Kernel Methods for Generic Lipschitz Losses via $p$-Sparsified Sketches [3.3379026542599934]
  カーネル法(カーネルほう、英: Kernel method)は、計算上の重要な制約に悩まされながら、固い理論の基礎を享受する学習アルゴリズムである。 散在したガウス(およびラデマッハ)のスケッチは、理論上有意な近似を生成する。 単一および複数出力のカーネル問題に対して過剰なリスク境界を導出し、汎用的なリプシッツ損失を与える。
  論文  参考訳（メタデータ） (2022-06-08T11:50:23Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。