論文の概要: Kernel Singular Value Decomposition with Extension to Multiple Data Sources

• arxiv url: http://arxiv.org/abs/2610.03216v1
• Date: Fri, 02 Oct 2026 12:32:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.36863
• Title: Kernel Singular Value Decomposition with Extension to Multiple Data Sources
• Title（参考訳）: 複数のデータソースの拡張によるカーネル特異値分解
• Abstract要約: カーネル特異値分解(KSVD)は、一対の特異ベクトル w.r.t. の非対称核行列を学習する。 我々はKSVDを複数のデータソース、すなわちeKSVDに拡張し、非対称カーネル上で共同非線形特徴学習を行う。
• 参考スコア（独自算出の注目度）: 8.108065693478025
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel Singular Value Decomposition (KSVD) learns a pair of singular vectors w.r.t. an asymmetric kernel matrix, which can be induced by two data sources, e.g., the queries and keys in self-attention or the rows and columns of a given matrix. In this work, we extend KSVD to multiple data sources, namely eKSVD, which conducts joint nonlinear feature learning upon asymmetric kernels. In the primal formulation, the projections associated with each data source are jointly learned to capture maximal information, while incorporating pair-wise couplings. With the Lagrangian and its Karush-Kuhn-Tucker (KKT) conditions, the optimization in the dual leads to a generalization of the shifted eigenvalue problem in Lanczos decomposition theorem of KSVD. Further, a covariance-based framework is derived together with using neural networks (NNs) for explicit feature mappings, complementary to the kernel-based interpretation and optimization. Numerical experiments verify the effectiveness of our eKSVD compared to methods based on Mercer kernels for tackling multiple data sources, and our innovation of deploying NNs demonstrates great flexibility for kernel methods.
• Abstract（参考訳）: カーネル特異値分解(KSVD)は、一対の特異ベクトル w.r.t. の非対称なカーネル行列を学習する。 本研究では、KSVDを複数のデータソース、すなわちeKSVDに拡張し、非対称カーネル上で共同非線形特徴学習を行う。 予備定式化では、各データソースに関連するプロジェクションを共同で学習し、ペアワイズ結合を取り入れながら最大情報をキャプチャする。 ラグランジアンとそのカルーシュ=クン=タッカー(KKT)条件により、双対の最適化は、KSVDのランツォス分解定理におけるシフト固有値問題の一般化につながる。 さらに、カーネルベースの解釈と最適化を補完する、明示的な特徴マッピングのためのニューラルネットワーク(NN)とともに、共分散ベースのフレームワークが導出される。 数値実験により,複数のデータソースを扱うメルサーカーネルをベースとした手法と比較して,eKSVDの有効性が検証された。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• A Kernelizable Primal-Dual Formulation of the Multilinear Singular Value Decomposition [7.773092847736491]
  MLSVD(Multilinear Singular Value Decomposition)はPCAとSVDの両方の特殊なケースとして回復する。 本稿では,特徴写像を用いたMLSVDの非線形拡張を提案する。
  論文  参考訳（メタデータ） (2024-10-14T13:46:58Z)
• Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method [21.16129116282759]
  共分散固有確率(CCE)に基づく新しい非対称学習パラダイムを導入する。 有限サンプル近似を用いて非対称Nystr"om法を定式化し,トレーニングを高速化する。
  論文  参考訳（メタデータ） (2024-06-13T02:12:18Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nystr\"om method [14.470859959783995]
  非対称データは、有向グラフのような実世界で自然に存在する。 本稿では,非対称なカーネルベース学習問題に取り組む。 実験により、非対称なKSVDはメルサー・ケルネルよりも優れた特徴を学習することが示された。
  論文  参考訳（メタデータ） (2023-06-12T11:39:34Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。