論文の概要: Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nystr\"om method

• arxiv url: http://arxiv.org/abs/2306.07040v1
• Date: Mon, 12 Jun 2023 11:39:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 15:01:46.069775
• Title: Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nystr\"om method
• Title（参考訳）: 非対称カーネルを持つ非線形SVD:特徴学習と非対称Nystr\"om法
• Authors: Qinghua Tao, Francesco Tonin, Panagiotis Patrinos, Johan A. K. Suykens
• Abstract要約: 非対称データは、有向グラフのような実世界で自然に存在する。 本稿では,非対称なカーネルベース学習問題に取り組む。 実験により、非対称なKSVDはメルサー・ケルネルよりも優れた特徴を学習することが示された。
• 参考スコア（独自算出の注目度）: 14.470859959783995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Asymmetric data naturally exist in real life, such as directed graphs. Different from the common kernel methods requiring Mercer kernels, this paper tackles the asymmetric kernel-based learning problem. We describe a nonlinear extension of the matrix Singular Value Decomposition through asymmetric kernels, namely KSVD. First, we construct two nonlinear feature mappings w.r.t. rows and columns of the given data matrix. The proposed optimization problem maximizes the variance of each mapping projected onto the subspace spanned by the other, subject to a mutual orthogonality constraint. Through Lagrangian duality, we show that it can be solved by the left and right singular vectors in the feature space induced by the asymmetric kernel. Moreover, we start from the integral equations with a pair of adjoint eigenfunctions corresponding to the singular vectors on an asymmetrical kernel, and extend the Nystr\"om method to asymmetric cases through the finite sample approximation, which can be applied to speedup the training in KSVD. Experiments show that asymmetric KSVD learns features outperforming Mercer-kernel based methods that resort to symmetrization, and also verify the effectiveness of the asymmetric Nystr\"om method.
• Abstract（参考訳）: 非対称データは、有向グラフのような実生活に自然に存在する。 本稿では,Mercurerカーネルを必要とする一般的なカーネル手法と異なり,非対称なカーネルベース学習問題に取り組む。 非対称核、すなわち KSVD による行列特異値分解の非線形拡張を記述する。 まず、与えられたデータ行列の列と列の2つの非線形特徴写像を構築する。 提案した最適化問題は、相互直交制約を受ける部分空間に投影される各写像の分散を最大化する。 ラグランジュ双対性を通じて、非対称核によって引き起こされる特徴空間における左と右の特異ベクトルによって解くことができることを示した。 さらに、非対称核上の特異ベクトルに対応する一対の随伴固有関数を持つ積分方程式から始め、Nystr\"om法を有限標本近似により非対称ケースに拡張し、KSVDでのトレーニングを高速化することができる。 実験により、非対称なKSVDはシンメトリゼーションを利用するメルサーカーネル法よりも優れた特徴を学習し、非対称なNystr\"om法の有効性を検証する。

関連論文リスト

• Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method [21.16129116282759]
  共分散固有確率(CCE)に基づく新しい非対称学習パラダイムを導入する。 有限サンプル近似を用いて非対称Nystr"om法を定式化し,トレーニングを高速化する。
  論文  参考訳（メタデータ） (2024-06-13T02:12:18Z)
• Latent Space Symmetry Discovery [31.28537696897416]
  本稿では,非線形群作用の対称性を発見できる新しい生成モデルであるLatent LieGANを提案する。 本手法は群作用に関する条件下では任意の非線形対称性を表現可能であることを示す。 LaLiGANはまた、方程式発見や長期予測を含む下流のタスクに有用な構造化された潜在空間をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T19:33:01Z)
• SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities [14.919246099820548]
  エントロピック親和性 (EA) は、一般的な次元性還元 (DR) アルゴリズム t-SNE で用いられる。 EAは本質的に非対称で行ワイドであるが、シンメトリゼーション法(英語版)の後にDRアプローチで使用される。 本研究では,最適な輸送問題としてEAの新たな特徴を明らかにし,効率的に計算できる自然な対称性を実現する。
  論文  参考訳（メタデータ） (2023-05-23T08:08:10Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Symmetric and antisymmetric kernels for machine learning problems in quantum physics and chemistry [0.3441021278275805]
  従来のカーネルのシンメトリゼーションとアンチシンメトリゼーションにより、対称カーネルと反対称カーネルを導出する。 対称性や反対称性を利用することで、トレーニングデータセットのサイズを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-03-31T17:32:27Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Inverse Learning of Symmetries [71.62109774068064]
  2つの潜在部分空間からなるモデルで対称性変換を学ぶ。 我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。 我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-02-07T13:48:52Z)
• The quantum marginal problem for symmetric states: applications to variational optimization, nonlocality and self-testing [0.0]
  対称$d$レベルのシステムに対する量子境界問題の解法を提案する。 量子情報中心問題における本手法の適用性について,いくつかの事例研究で概説する。
  論文  参考訳（メタデータ） (2020-01-13T18:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。