論文の概要: Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method
- arxiv url: http://arxiv.org/abs/2406.08748v1
- Date: Thu, 13 Jun 2024 02:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 21:38:10.887666
- Title: Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method
- Title（参考訳）: 結合共分散による特徴空間の学習:非対称カーネルSVDとNyström法
- Authors: Qinghua Tao, Francesco Tonin, Alex Lambert, Yingyi Chen, Panagiotis Patrinos, Johan A. K. Suykens,
- Abstract要約: 共分散固有確率(CCE)に基づく新しい非対称学習パラダイムを導入する。
有限サンプル近似を用いて非対称Nystr"om法を定式化し,トレーニングを高速化する。
- 参考スコア（独自算出の注目度）: 21.16129116282759
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In contrast with Mercer kernel-based approaches as used e.g., in Kernel Principal Component Analysis (KPCA), it was previously shown that Singular Value Decomposition (SVD) inherently relates to asymmetric kernels and Asymmetric Kernel Singular Value Decomposition (KSVD) has been proposed. However, the existing formulation to KSVD cannot work with infinite-dimensional feature mappings, the variational objective can be unbounded, and needs further numerical evaluation and exploration towards machine learning. In this work, i) we introduce a new asymmetric learning paradigm based on coupled covariance eigenproblem (CCE) through covariance operators, allowing infinite-dimensional feature maps. The solution to CCE is ultimately obtained from the SVD of the induced asymmetric kernel matrix, providing links to KSVD. ii) Starting from the integral equations corresponding to a pair of coupled adjoint eigenfunctions, we formalize the asymmetric Nystr\"om method through a finite sample approximation to speed up training. iii) We provide the first empirical evaluations verifying the practical utility and benefits of KSVD and compare with methods resorting to symmetrization or linear SVD across multiple tasks.
- Abstract（参考訳）: Kernel principal Component Analysis (KPCA) において、Mercurerカーネルベースのアプローチとは対照的に、Singular Value Decomposition (SVD) は非対称カーネルと本質的に関連し、非対称カーネルSingular Value Decomposition (KSVD) が提案されている。
しかし、KSVDへの既存の定式化は無限次元の特徴写像では機能せず、変分目的は非有界であり、さらに数値的な評価と機械学習への探索が必要である。
この作品。
i) 共分散演算子による結合共分散固有確率(CCE)に基づく新しい非対称学習パラダイムを導入し、無限次元特徴写像を実現する。
CCEへの解は、最終的に誘導された非対称核行列のSVDから得られ、KSVDへのリンクを提供する。
二 結合随伴固有関数の対に対応する積分方程式から始め、有限標本近似を用いて非対称Nystr\"om法を定式化し、訓練を高速化する。
三 我々は、KSVDの実用性と利点を検証するための最初の経験的評価を行い、複数のタスクにまたがる対称性化や線形SVDの手法と比較する。
関連論文リスト
- Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes [20.023544206079304]
我々は不確実性を考慮した自己注意構築のためのKEP-SVGP(Kernel-Eigen Pair Sparse Variational Gaussian Process)を提案する。
In-distriion, distribution-shift, out-of-distriionベンチマークにおける優れた性能と効率を検証した。
論文 参考訳（メタデータ） (2024-02-02T15:05:13Z) - CFASL: Composite Factor-Aligned Symmetry Learning for Disentanglement in Variational AutoEncoder [2.048226951354646]
本稿では,対称性に基づく絡み合いを学習するためのVAEに組み込んだCFASL(Composite Factor-Aligned Symmetry Learning)を提案する。
CFASLは対称性に基づく絡み合いを学習するための3つの新しい特徴を取り入れている。
CFASLは、単一要素変化と多要素変化条件において、乱れの顕著な改善を示す。
論文 参考訳（メタデータ） (2024-01-17T00:46:24Z) - Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric
Nystr\"om method [14.470859959783995]
非対称データは、有向グラフのような実世界で自然に存在する。
本稿では,非対称なカーネルベース学習問題に取り組む。
実験により、非対称なKSVDはメルサー・ケルネルよりも優れた特徴を学習することが示された。
論文 参考訳（メタデータ） (2023-06-12T11:39:34Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳（メタデータ） (2023-05-24T20:43:47Z) - Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。
我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
論文 参考訳（メタデータ） (2022-02-11T13:51:30Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Semi-orthogonal Embedding for Efficient Unsupervised Anomaly
Segmentation [6.135577623169028]
我々は,ロバスト近似のための半直交埋め込みに,ランダムな特徴選択というアドホックな手法を一般化する。
アブレーション研究の精査により,提案手法はMVTec AD, KolektorSDD, KolektorSDD2, mSTCデータセットに対して,新たな最先端技術を実現する。
論文 参考訳（メタデータ） (2021-05-31T07:02:20Z) - Nonlinear Independent Component Analysis for Continuous-Time Signals [85.59763606620938]
このプロセスの混合物の観察から多次元音源過程を復元する古典的問題を考察する。
このリカバリは、この混合物が十分に微分可能で可逆な関数によって与えられる場合、多くの一般的なプロセスのモデル(座標の順序と単調スケーリングまで)に対して可能であることを示す。
論文 参考訳（メタデータ） (2021-02-04T20:28:44Z) - FREDE: Linear-Space Anytime Graph Embeddings [12.53022591889574]
グラフのノードの低次元表現(埋め込み)は、データマイニング作業を容易にする。
FREquent Directions Embeddingは、類似度行列の行を個別に処理しながら、品質を反復的に改善するスケッチベースの手法である。
可変サイズのネットワークに対する評価は、FREDEがSVDと同等に動作し、多様なデータマイニングタスクにおける現在の最先端手法と競合することを示している。
論文 参考訳（メタデータ） (2020-06-08T16:51:24Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。