論文の概要: Automatic Hyperparameter Tuning in Sparse Matrix Factorization
- arxiv url: http://arxiv.org/abs/2305.10114v1
- Date: Wed, 17 May 2023 10:40:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 16:25:20.392503
- Title: Automatic Hyperparameter Tuning in Sparse Matrix Factorization
- Title(参考訳): スパースマトリックスファクトリゼーションにおけるハイパーパラメータ自動チューニング
- Authors: Ryota Kawasumi, Koujin Takeda
- Abstract要約: スパース行列における正規化係数のゼロ点を評価することで,新しいパラメータチューニング法を提案する。
提案手法は, 大域的主成分分析アルゴリズムとの比較により, 地中スパルス行列再構成における優れた性能を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of hyperparameter tuning in sparse matrix factorization
under Bayesian framework. In the prior work, an analytical solution of sparse
matrix factorization with Laplace prior was obtained by variational Bayes
method under several approximations. Based on this solution, we propose a novel
numerical method of hyperparameter tuning by evaluating the zero point of
normalization factor in sparse matrix prior. We also verify that our method
shows excellent performance for ground-truth sparse matrix reconstruction by
comparing it with the widely-used algorithm of sparse principal component
analysis.
- Abstract(参考訳): ベイズフレームワーク下でのスパース行列分解におけるハイパーパラメータチューニングの問題点について検討する。
先行研究では,ラプラス前駆によるスパース行列分解の解析解を,いくつかの近似の下で変分ベイズ法により求めた。
そこで本研究では,スパース行列における正規化係数のゼロ点を評価することで,新しいパラメータ調整法を提案する。
また,本手法は,スパース主成分分析の広範に用いられているアルゴリズムと比較することにより,地中スパースマトリックス再構成に優れた性能を示すことを検証した。
関連論文リスト
- Algorithmic Regularization in Tensor Optimization: Towards a Lifted
Approach in Matrix Sensing [28.295987262533075]
勾配降下(GD)は機械学習モデルの一般化に不可欠である。
我々はGDが暗黙の正規化を誘導し、コンパクト表現を促進することを示す。
以上の結果から, マトリックスセンシングのテンソルメトリーパラリゼーションの重要性が示唆された。
論文 参考訳(メタデータ) (2023-10-24T06:40:26Z) - Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
我々はロバスト成分分析のためのアルゴリズムを設計する(A)
行列を低主行列とスパース主行列の和に分解する。
論文 参考訳(メタデータ) (2023-07-12T03:48:26Z) - First Order Methods with Markovian Noise: from Acceleration to
Variational Inequalities [114.69800889030142]
本稿では,一階変分法の理論解析のための統一的アプローチを提案する。
提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。
凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
論文 参考訳(メタデータ) (2023-05-25T11:11:31Z) - Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。
提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文 参考訳(メタデータ) (2022-10-23T23:23:23Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。
これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。
勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
論文 参考訳(メタデータ) (2022-08-09T07:36:25Z) - Robust Low-rank Matrix Completion via an Alternating Manifold Proximal
Gradient Continuation Method [47.80060761046752]
ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。
この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。
RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。
本稿では、近年のローワークの動機付けについて述べる。
論文 参考訳(メタデータ) (2020-08-18T04:46:22Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。
また, 統一的非制約行列最適化法の有効性について述べる。
論文 参考訳(メタデータ) (2020-03-29T22:40:47Z) - Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。
我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。
得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文 参考訳(メタデータ) (2020-02-21T17:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。