論文の概要: Moment Estimation for Nonparametric Mixture Models Through Implicit
Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2210.14386v3
- Date: Mon, 7 Aug 2023 20:26:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 17:44:16.739032
- Title: Moment Estimation for Nonparametric Mixture Models Through Implicit
Tensor Decomposition
- Title(参考訳): インシシットテンソル分解による非パラメトリック混合モデルのモーメント推定
- Authors: Yifan Zhang, Joe Kileel
- Abstract要約: 条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。
線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。
数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
- 参考スコア(独自算出の注目度): 7.139680863764187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an alternating least squares type numerical optimization scheme to
estimate conditionally-independent mixture models in $\mathbb{R}^n$, without
parameterizing the distributions. Following the method of moments, we tackle an
incomplete tensor decomposition problem to learn the mixing weights and
componentwise means. Then we compute the cumulative distribution functions,
higher moments and other statistics of the component distributions through
linear solves. Crucially for computations in high dimensions, the steep costs
associated with high-order tensors are evaded, via the development of efficient
tensor-free operations. Numerical experiments demonstrate the competitive
performance of the algorithm, and its applicability to many models and
applications. Furthermore we provide theoretical analyses, establishing
identifiability from low-order moments of the mixture and guaranteeing local
linear convergence of the ALS algorithm.
- Abstract(参考訳): 本稿では,分散をパラメータ化することなく,条件付き非依存混合モデル推定のための交互最小二乗型数値最適化手法を提案する。
モーメントの手法に従うと、不完全テンソル分解問題に取り組み、混合重みと成分的手段を学習する。
次に,成分分布の累積分布関数,高次モーメント,その他の統計を線形解法によって計算する。
高次元の計算では、高階テンソルに関連する急なコストは、効率的なテンソルフリー演算の開発によって回避される。
数値実験はアルゴリズムの競合性能と多くのモデルや応用への適用性を実証する。
さらに,混合の低次モーメントから同定可能性を確立し,alsアルゴリズムの局所線形収束を保証する理論解析を行う。
関連論文リスト
- Momentum Particle Maximum Likelihood [2.6831773062745863]
パラメータと確率分布の拡張空間上の自由エネルギー関数を最小化するための類似システムに基づくアプローチを提案する。
適切な仮定の下では、提案された系を連続時間における一意的な一意の最小化器に定量的に収束させる。
そこで本研究では,潜在変数モデルにおけるパラメータ推定に適用可能な数値的な離散化を提案する。
論文 参考訳(メタデータ) (2023-12-12T14:53:18Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Fast Learnings of Coupled Nonnegative Tensor Decomposition Using Optimal
Gradient and Low-rank Approximation [17.785573076206855]
交互近位勾配法により最適化された非負のCANDECOMP/PARAFAC分解アルゴリズムを提案する。
提案した lraCoNCPD-APG アルゴリズムは,分解品質を損なうことなく,計算負荷を大幅に低減することができる。
論文 参考訳(メタデータ) (2023-02-10T08:49:36Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - Tensor decomposition for learning Gaussian mixtures from moments [6.576993289263191]
データ処理と機械学習では、データを正確に表現できるモデルを復元し、活用することが重要な課題である。
この問題に対処するための対称テンソル分解法について検討し,データ分布の経験的モーメントからテンソルを構築する。
論文 参考訳(メタデータ) (2021-06-01T15:11:08Z) - Heterogeneous Tensor Mixture Models in High Dimensions [5.656785831541303]
我々は,不均質な共分散を持つ柔軟高次元テンソル混合モデルを導入する問題を考える。
本手法は,実パラメータの統計的近傍に幾何学的に収束することを示す。
自閉症スペクトラム障害の診断に重要な脳領域を明らかにする。
論文 参考訳(メタデータ) (2021-04-15T21:06:16Z) - Nonlinear Independent Component Analysis for Continuous-Time Signals [85.59763606620938]
このプロセスの混合物の観察から多次元音源過程を復元する古典的問題を考察する。
このリカバリは、この混合物が十分に微分可能で可逆な関数によって与えられる場合、多くの一般的なプロセスのモデル(座標の順序と単調スケーリングまで)に対して可能であることを示す。
論文 参考訳(メタデータ) (2021-02-04T20:28:44Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。