論文の概要: Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization

• arxiv url: http://arxiv.org/abs/2205.03059v1
• Date: Fri, 6 May 2022 07:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 12:40:25.161143
• Title: Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
• Title（参考訳）: 非凸オーバーラップ核ノルム正規化による低ランクテンソル学習
• Authors: Quanming Yao and Yaqing Wang and Bo Han and James Kwok
• Abstract要約: 低ランク学習行列に対する効率的な非正規化アルゴリズムを開発した。 提案アルゴリズムは、高価な折り畳み/折り畳み問題を回避することができる。 実験の結果,提案アルゴリズムは既存の状態よりも効率的で空間が広いことがわかった。
• 参考スコア（独自算出の注目度）: 44.54772242784423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonconvex regularization has been popularly used in low-rank matrix learning. However, extending it for low-rank tensor learning is still computationally expensive. To address this problem, we develop an efficient solver for use with a nonconvex extension of the overlapped nuclear norm regularizer. Based on the proximal average algorithm, the proposed algorithm can avoid expensive tensor folding/unfolding operations. A special "sparse plus low-rank" structure is maintained throughout the iterations, and allows fast computation of the individual proximal steps. Empirical convergence is further improved with the use of adaptive momentum. We provide convergence guarantees to critical points on smooth losses and also on objectives satisfying the Kurdyka-{\L}ojasiewicz condition. While the optimization problem is nonconvex and nonsmooth, we show that its critical points still have good statistical performance on the tensor completion problem. Experiments on various synthetic and real-world data sets show that the proposed algorithm is efficient in both time and space and more accurate than the existing state-of-the-art.
• Abstract（参考訳）: 非凸正則化は低ランク行列学習に広く用いられている。 しかし、低ランクテンソル学習への拡張は依然として計算コストが高い。 この問題に対処するため,重なり合う核ノルム正規化器の非凸拡張を用いた効率的な解法を開発した。 近位平均アルゴリズムに基づいて、提案アルゴリズムは高価なテンソル折り畳み/折り畳み操作を回避できる。 特別な「スパースプラスローランク」構造はイテレーションを通して維持され、個々の近位ステップの高速な計算を可能にする。 経験的収束は適応運動量を用いてさらに改善される。 我々は、滑らかな損失に対する臨界点およびクルディカ-{\L}ojasiewicz条件を満たす目的に対する収束保証を提供する。 最適化問題は非凸かつ非滑らかであるが、その臨界点はテンソル完備化問題に対して良い統計性能を有することを示す。 様々な合成および実世界のデータセットの実験により、提案アルゴリズムは時間と空間の両方で効率的であり、既存の最先端技術よりも正確であることが示された。

関連論文リスト

• An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,上層関数が非非有界な滑らかさであり,下層関数が強く凸であるような二層最適化問題のクラスについて検討する。 これらの問題は、ニューラルネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
  論文  参考訳（メタデータ） (2024-09-28T02:30:44Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers [30.920908325825668]
  低ランクテンソル完備化問題において、l1-ノルムを緩和するため、非ランクサロゲート/正則化器が提案されている。 これらの正則化器は核ランク復元に適用され,乗算器法に基づく効率的なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2023-10-10T01:00:13Z)
• Computationally Efficient and Statistically Optimal Robust High-Dimensional Linear Regression [15.389011827844572]
  重み付き雑音や客観的腐敗の下での高テール線形回帰は、どちらも統計的に困難である。 本稿では,ノイズガウスあるいは重度1+エプシロン回帰問題に対するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-10T14:31:03Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Tensor Completion Made Practical [19.229475414802213]
  交代最小化の新たな変種を導入し、ガイド収束の進行度をテンソル設定にどのように適応させる必要があるかを理解することから着想を得た。 このアルゴリズムは, 相関係数が高く, ほぼ線形時間で実装できる場合でも, 真のテンソルに線形収束することを示す。 対照的に、驚くべきことに、交代最小化の標準的なバージョンは、我々の新しいツイストなしで、実際に劇的に遅い速度で収束できることが示される。
  論文  参考訳（メタデータ） (2020-06-04T21:09:44Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。