論文の概要: Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking
Posterior Symmetries
- arxiv url: http://arxiv.org/abs/2006.04295v3
- Date: Tue, 10 Nov 2020 07:13:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 00:24:37.578388
- Title: Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking
Posterior Symmetries
- Title(参考訳): 後方対称性の破れによるベイズ行列因子の効率的なMCMCサンプリング
- Authors: Saibal De, Hadi Salehi, Alex Gorodetsky
- Abstract要約: 本稿では、これらの対称性を確実に破り、精度を維持/改善する事前選択に対する簡単な修正を提案する。
非ゼロ線形独立先行手段を用いることで,MCMC試料の自己相関が著しく低下し,再建誤差の低減につながる可能性が示唆された。
- 参考スコア(独自算出の注目度): 1.3858051019755282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian low-rank matrix factorization techniques have become an essential
tool for relational data analysis and matrix completion. A standard approach is
to assign zero-mean Gaussian priors on the columns or rows of factor matrices
to create a conjugate system. This choice of prior leads to simple
implementations; however it also causes symmetries in the posterior
distribution that can severely reduce the efficiency of Markov-chain
Monte-Carlo (MCMC) sampling approaches. In this paper, we propose a simple
modification to the prior choice that provably breaks these symmetries and
maintains/improves accuracy. Specifically, we provide conditions that the
Gaussian prior mean and covariance must satisfy so the posterior does not
exhibit invariances that yield sampling difficulties. For example, we show that
using non-zero linearly independent prior means significantly lowers the
autocorrelation of MCMC samples, and can also lead to lower reconstruction
errors.
- Abstract(参考訳): ベイズ低ランク行列分解技術は関係データ解析と行列補完に必須のツールとなっている。
標準的アプローチは、係数行列の列または列にゼロ平均ガウス前駆体を割り当てて共役系を作成することである。
この事前選択は単純な実装につながるが、マルコフ連鎖モンテカルロ(MCMC)サンプリング手法の効率を著しく低下させる後続分布の対称性を引き起こす。
本稿では,これらの対称性を解消し,精度を維持・改善する事前選択の簡単な修正を提案する。
具体的には、ガウス平均と共分散が満たさなければならない条件を提供するので、後部はサンプリング困難をもたらす不変性は示さない。
例えば,非ゼロ線形独立な先行手段を用いることでMCMCサンプルの自己相関が著しく低下し,再建誤差の低減につながることを示す。
関連論文リスト
- Symmetric Matrix Completion with ReLU Sampling [15.095194065320987]
エントリー依存サンプリングによる対称正半定値低ランク行列補完(MC)の問題について検討する。
特に、静止点のみを観測する修正線形単位(ReLU)サンプリングについて検討する。
論文 参考訳(メタデータ) (2024-06-09T15:14:53Z) - Fast Semi-supervised Unmixing using Non-convex Optimization [85.95119207126292]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。
スパース・アンミキシングの代替手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-01-23T10:07:41Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳(メタデータ) (2023-08-26T06:12:33Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - Algorithmic Regularization in Model-free Overparametrized Asymmetric
Matrix Factorization [16.325663190517773]
我々は、任意の過パラメータ化を持つ自然な非定式化の下で、非対称な分解問題を考察する。
観測された行列に対して最高の低ランク近似を生成する。
論文 参考訳(メタデータ) (2022-03-06T00:07:53Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Entropy Minimizing Matrix Factorization [102.26446204624885]
NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。
本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。
通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
論文 参考訳(メタデータ) (2021-03-24T21:08:43Z) - Column $\ell_{2,0}$-norm regularized factorization model of low-rank
matrix recovery and its computation [0.9281671380673306]
本稿では低ランク計算問題の列 $ell_2,0$regularized factorization モデルについて述べる。
数値実験は、合成および実データ例を用いて行われる。
論文 参考訳(メタデータ) (2020-08-24T14:15:36Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Nonconvex Matrix Completion with Linearly Parameterized Factors [10.163102766021373]
パラメトリック因子化は、部分空間や完了シミュレーションを含む重要な例を示す。
また, 統一的非制約行列最適化法の有効性について述べる。
論文 参考訳(メタデータ) (2020-03-29T22:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。