論文の概要: A Kernelizable Primal-Dual Formulation of the Multilinear Singular Value Decomposition

• arxiv url: http://arxiv.org/abs/2410.10504v2
• Date: Mon, 21 Oct 2024 08:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 21:14:59.047005
• Title: A Kernelizable Primal-Dual Formulation of the Multilinear Singular Value Decomposition
• Title（参考訳）: 多線形特異値分解のカーネル化可能なプリマル双対定式化
• Authors: Frederiek Wesel, Kim Batselier,
• Abstract要約: MLSVD(Multilinear Singular Value Decomposition)はPCAとSVDの両方の特殊なケースとして回復する。 本稿では,特徴写像を用いたMLSVDの非線形拡張を提案する。
• 参考スコア（独自算出の注目度）: 7.773092847736491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to express a learning task in terms of a primal and a dual optimization problem lies at the core of a plethora of machine learning methods. For example, Support Vector Machine (SVM), Least-Squares Support Vector Machine (LS-SVM), Ridge Regression (RR), Lasso Regression (LR), Principal Component Analysis (PCA), and more recently Singular Value Decomposition (SVD) have all been defined either in terms of primal weights or in terms of dual Lagrange multipliers. The primal formulation is computationally advantageous in the case of large sample size while the dual is preferred for high-dimensional data. Crucially, said learning problems can be made nonlinear through the introduction of a feature map in the primal problem, which corresponds to applying the kernel trick in the dual. In this paper we derive a primal-dual formulation of the Multilinear Singular Value Decomposition (MLSVD), which recovers as special cases both PCA and SVD. Besides enabling computational gains through the derived primal formulation, we propose a nonlinear extension of the MLSVD using feature maps, which results in a dual problem where a kernel tensor arises. We discuss potential applications in the context of signal analysis and deep learning.
• Abstract（参考訳）: 原始的および双対最適化問題の観点から学習タスクを表現する能力は、機械学習メソッドの多元性の中核にある。 例えば、Support Vector Machine (SVM), Least-Squares Support Vector Machine (LS-SVM), Ridge Regression (RR), Lasso Regression (LR), principal Component Analysis (PCA) などである。 原始的な定式化は、大きなサンプルサイズの場合は計算的に有利であるが、双対は高次元データでは好ましい。 重要なことに、この学習問題を原始問題に特徴写像を導入することによって非線形にすることができる。 本稿では,PCA および SVD の特殊ケースとして回復する多線形特異値分解 (MLSVD) の一次2次元定式化を導出する。 導出された原始的定式化による計算ゲインの実現に加えて、特徴写像を用いたMLSVDの非線形拡張を提案し、カーネルテンソルが発生するという二重問題をもたらす。 信号解析と深層学習の文脈における潜在的な応用について論じる。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations [0.0]
  本稿では,計算オーバーヘッドを低減するために可逆性制限を緩和する新しいテンソルテンソル製品を提案する。 予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明する理論を提供する。
  論文  参考訳（メタデータ） (2024-09-28T16:29:54Z)
• Sparse Tensor PCA via Tensor Decomposition for Unsupervised Feature Selection [8.391109286933856]
  パラメータ行列の投影方向を利用して教師なし特徴選択を行う2つのスパース主成分分析(STPCA)モデルを開発した。 両方のモデルに対して、各サブプロブレムの最適解がエルミート正正半定円錐(HPSD)に落ちることを証明する。 実験結果によると,提案手法は異なるデータテンソルシナリオの処理に適しており,最先端のUFS手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-24T04:04:56Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Multilinear Kernel Regression and Imputation via Manifold Learning [5.482532589225551]
  MultiL-KRIMは、空間の直感的な概念に基づいて構築され、ポイントクラウドの隣人(回帰者)間の協調を損失関数のデータモデリング用語に直接組み込む。 2つの重要なアプリケーションドメインはMultiL-KRIMの機能を示す: 時間変化グラフ信号(TVGS)リカバリと、高速な動的磁気共鳴イメージング(dMRI)データの再構成である。
  論文  参考訳（メタデータ） (2024-02-06T02:50:42Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• New Equivalences Between Interpolation and SVMs: Kernels and Structured Features [22.231455330003328]
  本稿では、任意のカーネルを再生するヒルベルト空間において、ラベルに対するフレキシブルな生成モデルのクラスでSVPを証明するための新しいフレキシブルな分析フレームワークを提案する。 我々は、SVPが以前の作業でカバーされていない多くの興味深い設定で発生していることを示し、カーネルSVM分類のための新しい一般化結果を証明するためにこれらの結果を活用する。
  論文  参考訳（メタデータ） (2023-05-03T17:52:40Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
  凸一般化線形モデルの再構成性能に関する解析式を検証した。 解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。 主流学習法に関する数値的な例で,本主張を述べる。
  論文  参考訳（メタデータ） (2020-06-11T16:26:35Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。