論文の概要: Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models

• arxiv url: http://arxiv.org/abs/2403.18517v4
• Date: Thu, 30 Jan 2025 12:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-01 01:17:01.894092
• Title: Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models
• Title（参考訳）: 正規化非負スケール不変低ランク近似モデルの効率的なアルゴリズム
• Authors: Jeremy E. Cohen, Valentin Leplat,
• Abstract要約: 低ランク近似モデルにおける正規化関数の役割について検討する。 本稿では,$ell_pp$-regularized non- negative low-rank approximation を扱える汎用なMajorization-Minimization (MM)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.6034001987137767
• License:
• Abstract: Regularized nonnegative low-rank approximations, such as sparse Nonnegative Matrix Factorization or sparse Nonnegative Tucker Decomposition, form an important branch of dimensionality reduction models known for their enhanced interpretability. From a practical perspective, however, selecting appropriate regularizers and regularization coefficients, as well as designing efficient algorithms, remains challenging due to the multifactor nature of these models and the limited theoretical guidance available. This paper addresses these challenges by studying a more general model, the Homogeneous Regularized Scale-Invariant model. We prove that the scale-invariance inherent to low-rank approximation models induces an implicit regularization effect that balances solutions. This insight provides a deeper understanding of the role of regularization functions in low-rank approximation models, informs the selection of regularization hyperparameters, and enables the design of balancing strategies to accelerate the empirical convergence of optimization algorithms. Additionally, we propose a generic Majorization-Minimization (MM) algorithm capable of handling $\ell_p^p$-regularized nonnegative low-rank approximations with non-Euclidean loss functions, with convergence guarantees. Our contributions are demonstrated on sparse Nonnegative Matrix Factorization, ridge-regularized Nonnegative Canonical Polyadic Decomposition, and sparse Nonnegative Tucker Decomposition.
• Abstract（参考訳）: スパース非負行列分解やスパース非負タッカー分解のような正規化非負の低ランク近似は、その拡張解釈可能性で知られている次元減少モデルの重要な分岐を形成する。 しかし、実際的な観点からは、適切な正則化子と正則化係数の選択と効率的なアルゴリズムの設計は、これらのモデルの多因子の性質と利用可能な限定的な理論的ガイダンスのため、依然として困難である。 本稿では、より一般的なモデルである均一正規化スケール不変モデルを研究することにより、これらの課題に対処する。 低ランク近似モデルに固有のスケール不変性は、解のバランスをとる暗黙の正規化効果をもたらすことを証明している。 この知見は、低ランク近似モデルにおける正規化関数の役割についてより深く理解し、正規化ハイパーパラメータの選択を知らせ、最適化アルゴリズムの経験的収束を加速するためのバランス戦略の設計を可能にする。 さらに,非ユークリッド損失関数を用いた$\ell_p^p$-regularized non- negative low-rank approximationを収束保証付きで処理できる一般行列化最小化(MM)アルゴリズムを提案する。 我々の貢献は、スパース非負マトリクス分解、リッジ正規化非負カノニカルポリアディック分解、スパース非負タッカー分解である。

関連論文リスト

• A general error analysis for randomized low-rank approximation with application to data assimilation [42.57210316104905]
  中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための枠組みを提案する。 最小限の仮定の下では、期待と確率の正確な境界を導出する。 私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
  論文  参考訳（メタデータ） (2024-05-08T04:51:56Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。