論文の概要: Fast Spectrum Estimation of Some Kernel Matrices

• arxiv url: http://arxiv.org/abs/2411.00657v1
• Date: Fri, 01 Nov 2024 15:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:46:34.168583
• Title: Fast Spectrum Estimation of Some Kernel Matrices
• Title（参考訳）: いくつかのカーネル行列の高速スペクトル推定
• Authors: Mikhail Lepilov,
• Abstract要約: いくつかのカーネル行列に対して新しい固有値量子化推定フレームワークを導入する。 このフレームワークは、完全な行列を構成するコストを回避しつつ、カーネル行列のすべての固有値に対して有意義な境界を与える。 我々は、カーネル関数に一定の制限を課したこのフレームワークの有効性を証明し、その正確性に関する実証的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In data science, individual observations are often assumed to come independently from an underlying probability space. Kernel matrices formed from large sets of such observations arise frequently, for example during classification tasks. It is desirable to know the eigenvalue decay properties of these matrices without explicitly forming them, such as when determining if a low-rank approximation is feasible. In this work, we introduce a new eigenvalue quantile estimation framework for some kernel matrices. This framework gives meaningful bounds for all the eigenvalues of a kernel matrix while avoiding the cost of constructing the full matrix. The kernel matrices under consideration come from a kernel with quick decay away from the diagonal applied to uniformly-distributed sets of points in Euclidean space of any dimension. We prove the efficacy of this framework given certain bounds on the kernel function, and we provide empirical evidence for its accuracy. In the process, we also prove a very general interlacing-type theorem for finite sets of numbers. Additionally, we indicate an application of this framework to the study of the intrinsic dimension of data, as well as several other directions in which to generalize this work.
• Abstract（参考訳）: データ科学では、個々の観測は基礎となる確率空間から独立して来るとしばしば仮定される。 このような観測の大きな集合から形成されるカーネル行列は、例えば分類タスク中に頻繁に発生する。 これらの行列の固有値減衰特性は、例えば低ランク近似が実現可能であるかどうかを決定するときに、明示的に形成することなく知ることが望ましい。 本研究では,いくつかのカーネル行列に対する新しい固有値量子化推定フレームワークを提案する。 このフレームワークは、完全な行列を構成するコストを回避しつつ、カーネル行列のすべての固有値に対して有意義な境界を与える。 検討中のカーネル行列は、任意の次元のユークリッド空間において一様に分散された点集合に適用される対角線から急速に崩壊した核から来ている。 我々は、カーネル関数に一定の制限を課したこのフレームワークの有効性を証明し、その正確性に関する実証的な証拠を提供する。 この過程では、有限個の数集合に対する非常に一般的なインターレース型定理も証明する。 さらに,本フレームワークの本質的なデータ次元の研究への応用や,この研究を一般化するためのいくつかの方向についても述べる。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Higher-order topological kernels via quantum computation [68.8204255655161]
  トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。 本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
  論文  参考訳（メタデータ） (2023-07-14T14:48:52Z)
• Interpolation with the polynomial kernels [5.8720142291102135]
  カーネルは機械学習で広く使われており、カーネルベースの回帰モデルを開発するためのデフォルトの選択肢の1つである。 厳密な正定性がないため、数値解析ではほとんど使われない。 本論文は,これらのカーネルとその関連アルゴリズムの研究において,いくつかの初期結果を確立することを目的としている。
  論文  参考訳（メタデータ） (2022-12-15T08:30:23Z)
• An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings [21.727073594338297]
  この研究は、機械学習と統計学の応用によって動機付けられている。 スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。 我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
  論文  参考訳（メタデータ） (2022-05-12T18:50:21Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• Learning in High-Dimensional Feature Spaces Using ANOVA-Based Fast Matrix-Vector Multiplication [0.0]
  カーネル行列は一般に密度が高く大規模である。特徴空間の次元によっては、合理的な時間における全てのエントリの計算さえも難しい課題となる。 そこで我々は,ANOVAカーネルを用いて低次元の特徴空間に基づいて複数のカーネルを構築し,行列ベクトル積を実現する高速アルゴリズムを提案する。 特徴グループ化アプローチに基づいて,カーネルリッジ回帰と事前条件付き共役勾配解法を選択する学習手法に,高速な行列ベクトル積を組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-11-19T10:29:39Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
  低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。 最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
  論文  参考訳（メタデータ） (2021-02-15T13:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。