論文の概要: PMaF: Deep Declarative Layers for Principal Matrix Features
- arxiv url: http://arxiv.org/abs/2306.14759v3
- Date: Sat, 1 Jul 2023 05:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 12:15:56.791104
- Title: PMaF: Deep Declarative Layers for Principal Matrix Features
- Title（参考訳）: PMaF: 主要なマトリックス機能のための深い宣言層
- Authors: Zhiwei Xu, Hao Wang, Yanbin Liu, Stephen Gould
- Abstract要約: 球面上の最小二乗(LESS)と暗黙の固有分解(IED)の2つの微分可能な深い宣言層を探索する。
LESSは、高次元行列から支配的な情報を含む低次元ベクトルでデータ特徴を表現するのに使うことができる。
IEDは、高次元行列から支配的な情報を含む低次元ベクトルでデータ特徴を表現するのに用いられる。
- 参考スコア（独自算出の注目度）: 37.662505982849844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore two differentiable deep declarative layers, namely least squares
on sphere (LESS) and implicit eigen decomposition (IED), for learning the
principal matrix features (PMaF). It can be used to represent data features
with a low-dimensional vector containing dominant information from a
high-dimensional matrix. We first solve the problems with iterative
optimization in the forward pass and then backpropagate the solution for
implicit gradients under a bi-level optimization framework. Particularly,
adaptive descent steps with the backtracking line search method and descent
decay in the tangent space are studied to improve the forward pass efficiency
of LESS. Meanwhile, exploited data structures are used to greatly reduce the
computational complexity in the backward pass of LESS and IED. Empirically, we
demonstrate the superiority of our layers over the off-the-shelf baselines by
comparing the solution optimality and computational requirements.
- Abstract（参考訳）: 主行列特徴(PMaF)を学習するために、球面上の最小二乗(LESS)と暗示固有分解(IED)の2つの微分可能な深い宣言層を探索する。
これは高次元行列から支配的な情報を含む低次元ベクトルでデータ特徴を表現するのに用いられる。
まず、前方通過における反復最適化の問題を解き、二段階最適化フレームワークの下で暗黙の勾配を求める解をバックプロパゲートする。
特に,LESSの前方通過効率を向上させるために,バックトラックライン探索法とタンジェント空間における降下崩壊を用いた適応降下ステップについて検討した。
一方、悪用されたデータ構造は、LESSとIEDの後方通過における計算複雑性を大幅に低減するために使用される。
実験では, 解の最適性と計算要件を比較することにより, 既定ベースラインよりも上層部が優れていることを示す。
関連論文リスト
- Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - LancBiO: dynamic Lanczos-aided bilevel optimization via Krylov subspace [4.917399520581689]
本稿では、ランツォス過程の助けを借りて、低次元近似クリロフ部分空間の列を構築する。
構成された部分空間は、動的かつ漸進的にヘッセン逆ベクトル積を近似することができる。
また,小さな三角形線形系を解くための中心ステップとして,二段階問題に対する改良可能な部分空間ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-04T09:57:29Z) - Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [12.381700512445805]
行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。
提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
論文 参考訳（メタデータ） (2023-07-02T13:59:47Z) - Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic
Optimization [1.1612308609123565]
最適化フェーズにおける準最適度を最小化することを目的とした,規範的次元削減フレームワークを開発した。
下流最適化問題に期待値の目的がある場合、分散ロバスト最適化問題を解くことにより、規範的次元削減が可能であることを示す。
提案手法は, 実データおよび合成データを用いて主成分分析を著しく上回っている。
論文 参考訳（メタデータ） (2023-06-04T00:50:35Z) - Sufficient dimension reduction for feature matrices [3.04585143845864]
そこで本研究では,主支持行列マシン (PSMM) を用いた行列次元削減手法を提案する。
数値解析により、PSMMは既存の手法よりも優れ、実データアプリケーションでは高い解釈性を有することが示された。
論文 参考訳（メタデータ） (2023-03-07T23:16:46Z) - Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data
Visualization [20.43471678277403]
本稿では t-SNE に基づく新しいグラフベース次元削減手法 LaptSNE を提案する。
具体的には、LaptSNEはグラフラプラシアンの固有値情報を利用して、低次元埋め込みにおけるポテンシャルクラスタを縮小する。
ラプラシアン合成目的による最適化を考える際には、より広い関心を持つであろう勾配を解析的に計算する方法を示す。
論文 参考訳（メタデータ） (2022-07-25T14:10:24Z) - Intermediate Layer Optimization for Inverse Problems using Deep
Generative Models [86.29330440222199]
ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。
提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
論文 参考訳（メタデータ） (2021-02-15T06:52:22Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering [50.43424130281065]
TS-NMFと呼ばれる2次元(2次元)データに対する新しい半負行列分解法を提案する。
前処理ステップで2次元データをベクトルに変換することで、データの空間情報に深刻なダメージを与える既存の手法の欠点を克服する。
論文 参考訳（メタデータ） (2020-05-19T05:54:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。