論文の概要: Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models

• arxiv url: http://arxiv.org/abs/2403.18517v3
• Date: Sat, 8 Jun 2024 11:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 00:34:14.947007
• Title: Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models
• Title（参考訳）: 正規化非負スケール不変低ランク近似モデルの効率的なアルゴリズム
• Authors: Jeremy E. Cohen, Valentin Leplat,
• Abstract要約: 低ランク近似モデルに固有のスケール不変性は、予期せぬ有益効果と有害効果の両方で暗黙の正則化を引き起こすことを示す。 正規化された非負の低ランク近似を多数処理する一般化行列化最小化アルゴリズムを導出する。 我々は,スパース非負行列因子分解,リッジ規則化カノニカルポリアディック分解,スパース非負タッカー分解への貢献を紹介する。
• 参考スコア（独自算出の注目度）: 3.6034001987137767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularized nonnegative low-rank approximations such as sparse Nonnegative Matrix Factorization or sparse Nonnegative Tucker Decomposition are an important branch of dimensionality reduction models with enhanced interpretability. However, from a practical perspective, the choice of regularizers and regularization coefficients, as well as the design of efficient algorithms, is challenging because of the multifactor nature of these models and the lack of theory to back these choices. This paper aims at improving upon these issues. By studying a more general model called the Homogeneous Regularized Scale-Invariant, we prove that the scale-invariance inherent to low-rank approximation models causes an implicit regularization with both unexpected beneficial and detrimental effects. This observation allows to better understand the effect of regularization functions in low-rank approximation models, to guide the choice of the regularization hyperparameters, and to design balancing strategies to enhance the convergence speed of dedicated optimization algorithms. Some of these results were already known but restricted to specific instances of regularized low-rank approximations. We also derive a generic Majorization Minimization algorithm that handles many regularized nonnegative low-rank approximations, with convergence guarantees. We showcase our contributions on sparse Nonnegative Matrix Factorization, ridge-regularized Canonical Polyadic decomposition and sparse Nonnegative Tucker Decomposition.
• Abstract（参考訳）: スパース非負行列因子化やスパース非負タッカー分解のような正規化非負の低ランク近似は、解釈可能性を高めた次元還元モデルの重要な分岐である。 しかし、実際的な観点からは、正規化子と正規化係数の選択と効率的なアルゴリズムの設計は、これらのモデルの多因子の性質とこれらの選択を裏付ける理論の欠如のために困難である。 本稿ではこれらの課題を改善することを目的とする。 等質正規化スケール不変量(英語版)と呼ばれるより一般的なモデルを研究することにより、低ランク近似モデルに固有のスケール不変性が、予期せぬ有益効果と有害効果の両方で暗黙的な正則化を引き起こすことが証明される。 この観察により、低ランク近似モデルにおける正規化関数の効果をよりよく理解し、正規化ハイパーパラメータの選択をガイドし、専用最適化アルゴリズムの収束速度を高めるためのバランス戦略を設計することができる。 これらの結果のいくつかはすでに知られているが、正規化低ランク近似の特定の例に限定されている。 また、正規化された非負の低ランク近似の多くを、収束保証付きで処理する一般化行列化最小化アルゴリズムを導出する。 我々は,スパース非負行列因子分解,リッジ規則化カノニカルポリアディック分解,スパース非負タッカー分解への貢献を紹介する。

関連論文リスト

• A general error analysis for randomized low-rank approximation with application to data assimilation [42.57210316104905]
  中心行列および非標準行列に対するフロベニウスノルムにおける低ランク近似誤差の解析のための枠組みを提案する。 最小限の仮定の下では、期待と確率の正確な境界を導出する。 私たちの境界には、プロパティを導出し、実践的な選択を動機付けるための明確な解釈があります。
  論文  参考訳（メタデータ） (2024-05-08T04:51:56Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。