論文の概要: Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions
- arxiv url: http://arxiv.org/abs/2512.17473v2
- Date: Mon, 22 Dec 2025 14:13:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 14:49:56.333355
- Title: Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions
- Title(参考訳): 非線形行列分解のための乗算器の交互方向法
- Authors: Atharva Awari, Nicolas Gillis, Arnaud Vandaele,
- Abstract要約: 非線形行列分解(NMD)を解くための乗算器の交互方向法(ADMM)に基づくアルゴリズムを提案する。
実世界のデータセットに対するアプローチの適用性、効率、適応性を説明し、幅広いアプリケーションに対するその可能性を強調します。
- 参考スコア(独自算出の注目度): 10.559775618998044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an algorithm based on the alternating direction method of multipliers (ADMM) for solving nonlinear matrix decompositions (NMD). Given an input matrix $X \in \mathbb{R}^{m \times n}$ and a factorization rank $r \ll \min(m, n)$, NMD seeks matrices $W \in \mathbb{R}^{m \times r}$ and $H \in \mathbb{R}^{r \times n}$ such that $X \approx f(WH)$, where $f$ is an element-wise nonlinear function. We evaluate our method on several representative nonlinear models: the rectified linear unit activation $f(x) = \max(0, x)$, suitable for nonnegative sparse data approximation, the component-wise square $f(x) = x^2$, applicable to probabilistic circuit representation, and the MinMax transform $f(x) = \min(b, \max(a, x))$, relevant for recommender systems. The proposed framework flexibly supports diverse loss functions, including least squares, $\ell_1$ norm, and the Kullback-Leibler divergence, and can be readily extended to other nonlinearities and metrics. We illustrate the applicability, efficiency, and adaptability of the approach on real-world datasets, highlighting its potential for a broad range of applications.
- Abstract(参考訳): 非線形行列分解(NMD)を解くための乗算器の交互方向法(ADMM)に基づくアルゴリズムを提案する。
入力行列 $X \in \mathbb{R}^{m \times n}$ と分解ランク $r \ll \min(m, n)$ が与えられたとき、NMD は行列 $W \in \mathbb{R}^{m \times r}$ と $H \in \mathbb{R}^{r \times n}$ を求める。
線形単位の正則化 $f(x) = \max(0, x)$ は非負のスパースデータ近似に適合し、コンポーネントワイドの$f(x) = x^2$ は確率的回路表現に適用され、MinMax変換 $f(x) = \min(b, \max(a, x))$ はレコメンデーターシステムに関係している。
提案したフレームワークは、最小二乗、$\ell_1$ノルム、Kulback-Leibler分散を含む多様な損失関数を柔軟にサポートし、他の非線形性やメトリクスにも容易に拡張できる。
実世界のデータセットに対するアプローチの適用性、効率、適応性を説明し、幅広いアプリケーションに対するその可能性を強調します。
関連論文リスト
- Surrogate to Poincaré inequalities on manifolds for dimension reduction in nonlinear feature spaces [49.1574468325115]
連続微分可能な関数 $u:mathbbRd rightarrow mathbbRm$ を $g:mathbbRd rightarrow mathbbRm$, $mleq d$, $f : mathbbRm rightarrow mathbbRR$ という関数の合成によって近似することを目指している。
固定された$g$に対して、評価を含む古典回帰法を用いて$f$を構築する。
論文 参考訳(メタデータ) (2025-05-03T12:37:27Z) - An approximation of the $S$ matrix for solving the Marchenko equation [0.0]
ここでは、有理関数の和として定式化された運動量$q$に対する$S$-行列依存の新たな近似と、truncated Sinc 級数を示す。
このアプローチにより、特定の解像度で$S$行列をポイントワイズで決定することができ、共鳴挙動などの重要な特徴を高精度に捉えることができる。
論文 参考訳(メタデータ) (2024-10-27T11:06:28Z) - Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU
function [17.17890385027466]
我々は、$f(cdot) = max(0, cdot)$, rectified unit (ReLU) non-linear activation の場合に焦点を当てる。
本稿では,(1)適応型ネステロフ外挿法を用いて既存のアルゴリズムを高速化するアグレッシブアクセラレーションNMD (A-NMD) と,(2)$Theta = WH$をパラメータ化して計算コストを大幅に削減する3ブロックNMD (3B-NMD) の2つの新しいアルゴリズムを紹介する。
論文 参考訳(メタデータ) (2023-05-15T14:43:27Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳(メタデータ) (2021-09-06T14:21:43Z) - Multiscale regression on unknown manifolds [13.752772802705978]
マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。
本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。
私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
論文 参考訳(メタデータ) (2021-01-13T15:14:31Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳(メタデータ) (2020-08-17T22:11:26Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳(メタデータ) (2020-07-05T18:58:47Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳(メタデータ) (2020-06-12T10:21:40Z) - Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。
最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-04-30T10:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。