Fugu-MT 論文翻訳(概要): Local optimisation of Nystr\"om samples through stochastic gradient descent

論文の概要: Local optimisation of Nystr\"om samples through stochastic gradient descent

arxiv url: http://arxiv.org/abs/2203.13284v1
Date: Thu, 24 Mar 2022 18:17:27 GMT
ステータス: 処理完了
システム内更新日: 2022-03-29 02:35:52.952370
Title: Local optimisation of Nystr\"om samples through stochastic gradient descent
Title（参考訳）: 確率勾配降下によるNystr\"omサンプルの局所最適化
Authors: Matthew Hutchings and Bertrand Gauthier
Abstract要約: 我々は、Nystrの近似精度を評価するために用いられる古典的基準のサロゲートとして、二乗カーネルの差分基準の未加重変動を考慮する。我々は、放射状SKDの局所最小化が、Nystr"omサンプルを改良したNystr"om近似精度で得られることを示す数値実験を行った。
参考スコア（独自算出の注目度）: 32.53634754382956
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study a relaxed version of the column-sampling problem for the Nystr\"om approximation of kernel matrices, where approximations are defined from multisets of landmark points in the ambient space; such multisets are referred to as Nystr\"om samples. We consider an unweighted variation of the radial squared-kernel discrepancy (SKD) criterion as a surrogate for the classical criteria used to assess the Nystr\"om approximation accuracy; in this setting, we discuss how Nystr\"om samples can be efficiently optimised through stochastic gradient descent. We perform numerical experiments which demonstrate that the local minimisation of the radial SKD yields Nystr\"om samples with improved Nystr\"om approximation accuracy.
Abstract（参考訳）: 我々は、周辺空間におけるランドマーク点の多重集合から近似を定義する核行列のnystr\"om近似に対するカラムサンプリング問題の緩和版について検討する。我々は,nystr\"om近似の精度を評価するための古典的な基準の代理として,ラジアル正方形ケネル偏差 (skd) の非重み付き変分を考慮し,確率的勾配降下によりnystr\"omサンプルを効率的に最適化する方法について考察する。本研究では,ラジアルskdの局所的最小化がnystr\"om試料をnystr\"om近似精度良く生成することを示す数値実験を行う。

関連論文リスト

Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文参考訳（メタデータ） (2024-09-08T13:08:45Z)
Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文参考訳（メタデータ） (2023-09-29T15:24:48Z)
Samplet basis pursuit: Multiresolution scattered data approximation with sparsity constraints [0.0]
我々は,$ell_1$-regularization を用いたサンプルト座標における分散データ近似について検討する。 Riesz isometry を用いて、標本を再現されたカーネルヒルベルト空間に埋め込む。組込みサンプルベースに対してスパースな信号のクラスは、カーネル翻訳の基盤に関してスパースな信号のクラスよりもかなり大きいと論じる。
論文参考訳（メタデータ） (2023-06-16T21:20:49Z)
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文参考訳（メタデータ） (2023-06-06T19:02:57Z)
Sampling-based Nystr\"om Approximation and Kernel Quadrature [8.658596218544774]
確率測度に付随する正定値核の「Nystr」近似を解析する。まず、サンプリングと特異値分解による従来のNystr"om近似の誤差境界の改善を証明した。次に、Nystr "om approximation において、非i.d.ランドマーク点に適用可能な理論的保証を持つ部分空間の洗練された選択を導入する。
論文参考訳（メタデータ） (2023-01-23T16:05:56Z)
Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
論文参考訳（メタデータ） (2022-10-28T14:56:18Z)
Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
論文参考訳（メタデータ） (2022-07-16T03:09:30Z)
Nystr\"om Kernel Mean Embeddings [92.10208929236826]
Nystr"om法に基づく効率的な近似手法を提案する。サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
論文参考訳（メタデータ） (2022-01-31T08:26:06Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文参考訳（メタデータ） (2020-02-26T16:37:37Z)
Diversity sampling is an implicit regularization for kernel methods [13.136143245702915]
多様なランドマークを持つNystrのカーネルレグレッションにより,データセットのスペーサー領域におけるレグレッションの精度が向上することを示す。正確な DPP サンプリングが現実的に実現不可能な場合, 大規模なデータセット内で大きなサイズのサンプルを選択するために, グリーディも提案されている。
論文参考訳（メタデータ） (2020-02-20T08:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。