論文の概要: A majorization-minimization algorithm for nonnegative binary matrix factorization

• arxiv url: http://arxiv.org/abs/2204.09741v1
• Date: Wed, 20 Apr 2022 18:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 12:32:23.917371
• Title: A majorization-minimization algorithm for nonnegative binary matrix factorization
• Title（参考訳）: 非負二元行列分解のための主元化最小化アルゴリズム
• Authors: Paul Magron, C\'edric F\'evotte
• Abstract要約: 本稿では,行列因数分解を用いたバイナリデータの分解問題に取り組む。 我々はベルヌーイパラメータを分解し、モデルの表現力をさらに向上させる要因の1つに先立って追加のベータを考える。 3つの公開バイナリデータセットで行った実験は、我々のアプローチが予測性能、計算複雑性、解釈可能性の間の優れたトレードオフを提供することを示している。
• 参考スコア（独自算出の注目度）: 9.457368716414077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles the problem of decomposing binary data using matrix factorization. We consider the family of mean-parametrized Bernoulli models, a class of generative models that are well suited for modeling binary data and enables interpretability of the factors. We factorize the Bernoulli parameter and consider an additional Beta prior on one of the factors to further improve the model's expressive power. While similar models have been proposed in the literature, they only exploit the Beta prior as a proxy to ensure a valid Bernoulli parameter in a Bayesian setting; in practice it reduces to a uniform or uninformative prior. Besides, estimation in these models has focused on costly Bayesian inference. In this paper, we propose a simple yet very efficient majorization-minimization algorithm for maximum a posteriori estimation. Our approach leverages the Beta prior whose parameters can be tuned to improve performance in matrix completion tasks. Experiments conducted on three public binary datasets show that our approach offers an excellent trade-off between prediction performance, computational complexity, and interpretability.
• Abstract（参考訳）: 本稿では,行列分解を用いたバイナリデータの分解問題に取り組む。 平均パラメタライズされたベルヌーイモデル(英語版)は、バイナリデータのモデリングに適した生成モデルのクラスであり、因子の解釈可能性を実現する。 我々はベルヌーイパラメータを分解し、モデルの表現力をさらに向上させる要因の1つに先立って追加のベータを考える。 類似したモデルが文献で提案されているが、それらはベイズ的設定において有効なベルヌーイパラメータを保証するためにプロキシとしてベータ前しか利用していない。 さらに、これらのモデルにおける推定はコストの高いベイズ推定に焦点を当てている。 本稿では,最大後方推定のための単純かつ高効率なマージ化最小化アルゴリズムを提案する。 提案手法は,行列補完タスクの性能向上のためにパラメータを調整可能なベータ前処理を利用する。 3つの公開バイナリデータセットで行った実験は、我々のアプローチが予測性能、計算複雑性、解釈可能性の間の優れたトレードオフを提供することを示している。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Banded Square Root Matrix Factorization for Differentially Private Model Training [3.6371628922281305]
  本稿では,この計算ボトルネックを克服する新しい行列分解手法であるBSRを提案する。 標準行列平方根の特性を利用することにより、BSRは大規模問題も効率的に扱うことができる。 我々の数値実験により、BSRを用いて訓練されたモデルは、その計算オーバーヘッドを完全に回避しつつ、最良の既存手法と同等に機能することを示した。
  論文  参考訳（メタデータ） (2024-05-22T15:47:35Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks [11.937283219047984]
  深部離散潜在変数モデルに対して近似的推論法が提案されている。 このような深層モデルの離散潜在表現を学習するための非パラメトリック反復アルゴリズムを提案する。 提案手法は,異なる特徴を持つデータセット間で評価し,その結果を現在の補正近似推定法と比較する。
  論文  参考訳（メタデータ） (2023-03-14T20:50:12Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Scalable Combinatorial Bayesian Optimization with Tractable Statistical models [44.25245545568633]
  緩和空間上のブラックボックス関数(集合、列、木、グラフなど)を最適化する問題について検討する。 サブモジュール緩和の最近の進歩に基づき,BOCSモデルにおけるAFO問題のスケーラビリティと精度向上を目標として,Parametrized Submodular (PSR) のアプローチを検討する。 多様なベンチマーク問題に対する実験では、BOCSモデルに対するPSRによる大幅な改善が示されている。
  論文  参考訳（メタデータ） (2020-08-18T22:56:46Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Gaussian Process Boosting [13.162429430481982]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。