Fugu-MT 論文翻訳(概要): On subdifferential chain rule of matrix factorization and beyond

論文の概要: On subdifferential chain rule of matrix factorization and beyond

arxiv url: http://arxiv.org/abs/2410.05022v1
Date: Mon, 7 Oct 2024 13:24:59 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 00:48:04.676767
Title: On subdifferential chain rule of matrix factorization and beyond
Title（参考訳）: 行列分解とそれ以外における部分微分鎖則について
Authors: Jiewen Guan, Anthony Man-Cho So,
Abstract要約: 行列分解および分解機械の等式型クラーク差分鎖則を示す。テンソル一般化や神経拡張も議論されているが、それらはほとんど開である。
参考スコア（独自算出の注目度）: 20.82938951566065
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study equality-type Clarke subdifferential chain rules of matrix factorization and factorization machine. Specifically, we show for these problems that provided the latent dimension is larger than some multiple of the problem size (i.e., slightly overparameterized) and the loss function is locally Lipschitz, the subdifferential chain rules hold everywhere. In addition, we examine the tightness of the analysis through some interesting constructions and make some important observations from the perspective of optimization; e.g., we show that for all this type of problems, computing a stationary point is trivial. Some tensor generalizations and neural extensions are also discussed, albeit they remain mostly open.
Abstract（参考訳）: 本稿では,行列分解および分解機械の等式型クラーク偏差鎖則について検討する。具体的には、潜在次元が問題サイズ(すなわち、わずかに過度なパラメータ化)の複数よりも大きいことを仮定したこれらの問題に対して、損失関数は局所リプシッツであり、その部分微分連鎖規則は至る所で成り立つ。さらに、いくつかの興味深い構成を通して解析の厳密さを検証し、最適化の観点から重要な観察を行い、例えば、このような全ての問題に対して、定常点の計算は自明であることを示す。テンソル一般化や神経拡張も議論されているが、それらはほとんど開である。

関連論文リスト

$\ell_1$-norm rank-one symmetric matrix factorization has no spurious second-order stationary points [20.82938951566065]
この問題の2階定常点(つまり局所最小点)は、実際には大域的に最適であることを示す。我々の手法は、様々な高度な非滑らかな学習問題の最適化状況の分析に応用できる可能性がある。
論文参考訳（メタデータ） (2024-10-07T13:25:37Z)
Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
論文参考訳（メタデータ） (2024-07-15T07:11:44Z)
The polarization hierarchy for polynomial optimization over convex bodies, with applications to nonnegative matrix rank [0.6963971634605796]
我々は、凸体上の関数を制約に最適化する問題に対して、外部近似の収束族を構築する。階層の3段階の数値的な実装は、この問題に対して非常に厳密な近似をもたらすことが示されている。
論文参考訳（メタデータ） (2024-06-13T18:00:09Z)
High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
論文参考訳（メタデータ） (2024-06-05T12:03:27Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
一次元畳み込み層を有する線形ネットワークの幾何学について検討する。我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
論文参考訳（メタデータ） (2023-04-12T10:15:17Z)
Approximation of optimization problems with constraints through kernel Sum-Of-Squares [77.27820145069515]
我々は、点的不等式が非負の kSoS 関数のクラス内で等式となることを示す。また, 等式制約に焦点をあてることで, 散乱不等式を用いることで, 制約のサンプリングにおける次元性の呪いを軽減することができることを示す。
論文参考訳（メタデータ） (2023-01-16T10:30:04Z)
Identifiability in Exact Two-Layer Sparse Matrix Factorization [0.0]
スパース行列分解(sparse matrix factorization)は、L スパース因子 X(L) X(L--1) の積による行列 Z の近似の問題である。本稿では,この問題に現れる識別可能性の問題に焦点をあてる。
論文参考訳（メタデータ） (2021-10-04T07:56:37Z)
Exact recursive calculation of circulant permanents: A band of different diagonals inside a uniform matrix [0.0]
可変係数を持つ線形再帰方程式系は循環物の解析に強力なツールを提供する。その解は、自然界の#P-ハード問題の範囲を統一的に解析する上で非常に重要である。
論文参考訳（メタデータ） (2021-09-03T21:56:14Z)
Sparse Quantized Spectral Clustering [85.77233010209368]
このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
論文参考訳（メタデータ） (2020-10-03T15:58:07Z)
Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。我々の手法は収束特性が良く、最先端の結果が得られます。
論文参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。