論文の概要: Stochastic Mirror Descent for Low-Rank Tensor Decomposition Under
Non-Euclidean Losses
- arxiv url: http://arxiv.org/abs/2104.14562v1
- Date: Thu, 29 Apr 2021 14:58:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 13:46:40.780653
- Title: Stochastic Mirror Descent for Low-Rank Tensor Decomposition Under
Non-Euclidean Losses
- Title（参考訳）: 非ユークリッド損失下での低ランクテンソル分解に対する確率鏡像
- Authors: Wenqiang Pu, Shahana Ibrahim, Xiao Fu, and Mingyi Hong
- Abstract要約: 本研究は、非ユークリッド損失関数のクラスの下で低位正準多進分解(cpd)を考える。
この研究は、様々な非ユークリッド損失関数の下で大規模なCPD分解のための統一アルゴリズムフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 43.01811529439942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work considers low-rank canonical polyadic decomposition (CPD) under a
class of non-Euclidean loss functions that frequently arise in statistical
machine learning and signal processing. These loss functions are often used for
certain types of tensor data, e.g., count and binary tensors, where the least
squares loss is considered unnatural.Compared to the least squares loss, the
non-Euclidean losses are generally more challenging to handle. Non-Euclidean
CPD has attracted considerable interests and a number of prior works exist.
However, pressing computational and theoretical challenges, such as scalability
and convergence issues, still remain. This work offers a unified stochastic
algorithmic framework for large-scale CPD decomposition under a variety of
non-Euclidean loss functions. Our key contribution lies in a tensor fiber
sampling strategy-based flexible stochastic mirror descent framework.
Leveraging the sampling scheme and the multilinear algebraic structure of
low-rank tensors, the proposed lightweight algorithm ensures global convergence
to a stationary point under reasonable conditions. Numerical results show that
our framework attains promising non-Euclidean CPD performance. The proposed
framework also exhibits substantial computational savings compared to
state-of-the-art methods.
- Abstract（参考訳）: この研究は、統計機械学習や信号処理で頻繁に発生する非ユークリッド損失関数のクラスの下で、低ランクな正準多元分解(CPD)を考える。
これらの損失関数は、例えば、最小二乗の損失が非自然であると考えられ、最小二乗の損失が最小二乗の損失であるような、ある種のテンソルデータに対してしばしば用いられる。
非ユークリッドのcpdはかなりの関心を集め、多くの先行作品が存在する。
しかし、拡張性や収束性といった計算的および理論的課題はいまだに残っている。
この研究は、様々な非ユークリッド損失関数の下での大規模CPD分解のための統合確率的アルゴリズムフレームワークを提供する。
我々の重要な貢献は、テンソルファイバーサンプリング戦略に基づくフレキシブル確率ミラー降下フレームワークである。
サンプリングスキームと低ランクテンソルの多線形代数構造を利用して,提案する軽量アルゴリズムは,合理的な条件下で静止点への大域収束を保証する。
その結果,本フレームワークは非ユークリッドcpd性能を期待できることがわかった。
提案手法は,最先端手法と比較して計算量を大幅に削減する。
関連論文リスト
- A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers [30.920908325825668]
低ランクテンソル完備化問題において、l1-ノルムを緩和するため、非ランクサロゲート/正則化器が提案されている。
これらの正則化器は核ランク復元に適用され,乗算器法に基づく効率的なアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2023-10-10T01:00:13Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。
最近の研究は、低次手法のクラスに対する低い境界を確立している。
意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文 参考訳（メタデータ） (2021-12-07T18:50:17Z) - Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation
from Incomplete Measurements [30.395874385570007]
基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。
タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。
2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
論文 参考訳（メタデータ） (2021-04-29T17:44:49Z) - Low-rank matrix recovery with non-quadratic loss: projected gradient
method and regularity projection oracle [23.84884127542249]
低ランク行列回復の既往の結果は2次損失に大きく影響した。
非二次的損失を伴う証明可能な低ランク回復における重要な要素が正規性予測であることを示す。
論文 参考訳（メタデータ） (2020-08-31T17:56:04Z) - Nonconvex sparse regularization for deep neural networks and its
optimality [1.9798034349981162]
ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。
スパースDNNに対する新たなペナル化推定法を提案する。
スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
論文 参考訳（メタデータ） (2020-03-26T07:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。