論文の概要: Moment Estimation for Nonparametric Mixture Models Through Implicit
Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2210.14386v1
- Date: Tue, 25 Oct 2022 23:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 15:52:48.533525
- Title: Moment Estimation for Nonparametric Mixture Models Through Implicit
Tensor Decomposition
- Title(参考訳): インシシットテンソル分解による非パラメトリック混合モデルのモーメント推定
- Authors: Yifan Zhang, Joe Kileel
- Abstract要約: 条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。
高次元テンソルに関連する急激なコストは、特殊テンソルフリー操作の開発を通じて回避される。
- 参考スコア(独自算出の注目度): 7.139680863764187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an alternating least squares type numerical optimization scheme to
estimate conditionally-independent mixture models in $\mathbb{R}^n$, with
minimal additional distributional assumptions. Following the method of moments,
we tackle a coupled system of low-rank tensor decomposition problems. The steep
costs associated with high-dimensional tensors are avoided, through the
development of specialized tensor-free operations. Numerical experiments
illustrate the performance of the algorithm and its applicability to various
models and applications. In many cases the results exhibit improved reliability
over the expectation-maximization algorithm, with similar time and storage
costs. We also provide some supporting theory, establishing identifiability and
local linear convergence.
- Abstract(参考訳): 最小限の分布仮定で,条件非依存の混合モデルを$\mathbb{R}^n$で推定する,交代最小二乗型数値最適化手法を提案する。
モーメントの手法に従うと、低ランクテンソル分解問題の結合系に取り組む。
高次元テンソルに関連する急激なコストは、特殊テンソルフリー操作の開発を通じて回避される。
数値実験により、アルゴリズムの性能と様々なモデルや応用への適用性が示されている。
多くの場合、結果は予測最大化アルゴリズムよりも信頼性が向上し、同様の時間とストレージコストがかかる。
また,同定可能性と局所線形収束性を確立するための支援理論も提示する。
関連論文リスト
- Momentum Particle Maximum Likelihood [2.6831773062745863]
パラメータと確率分布の拡張空間上の自由エネルギー関数を最小化するための類似システムに基づくアプローチを提案する。
適切な仮定の下では、提案された系を連続時間における一意的な一意の最小化器に定量的に収束させる。
そこで本研究では,潜在変数モデルにおけるパラメータ推定に適用可能な数値的な離散化を提案する。
論文 参考訳(メタデータ) (2023-12-12T14:53:18Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Fast Learnings of Coupled Nonnegative Tensor Decomposition Using Optimal
Gradient and Low-rank Approximation [17.785573076206855]
交互近位勾配法により最適化された非負のCANDECOMP/PARAFAC分解アルゴリズムを提案する。
提案した lraCoNCPD-APG アルゴリズムは,分解品質を損なうことなく,計算負荷を大幅に低減することができる。
論文 参考訳(メタデータ) (2023-02-10T08:49:36Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳(メタデータ) (2022-10-21T13:19:45Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - Tensor decomposition for learning Gaussian mixtures from moments [6.576993289263191]
データ処理と機械学習では、データを正確に表現できるモデルを復元し、活用することが重要な課題である。
この問題に対処するための対称テンソル分解法について検討し,データ分布の経験的モーメントからテンソルを構築する。
論文 参考訳(メタデータ) (2021-06-01T15:11:08Z) - Heterogeneous Tensor Mixture Models in High Dimensions [5.656785831541303]
我々は,不均質な共分散を持つ柔軟高次元テンソル混合モデルを導入する問題を考える。
本手法は,実パラメータの統計的近傍に幾何学的に収束することを示す。
自閉症スペクトラム障害の診断に重要な脳領域を明らかにする。
論文 参考訳(メタデータ) (2021-04-15T21:06:16Z) - Nonlinear Independent Component Analysis for Continuous-Time Signals [85.59763606620938]
このプロセスの混合物の観察から多次元音源過程を復元する古典的問題を考察する。
このリカバリは、この混合物が十分に微分可能で可逆な関数によって与えられる場合、多くの一般的なプロセスのモデル(座標の順序と単調スケーリングまで)に対して可能であることを示す。
論文 参考訳(メタデータ) (2021-02-04T20:28:44Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z) - Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。
MVSCに適合する新しい構造テンソル低ランクノルムを設計する。
提案手法は最先端の手法よりもかなり優れていることを示す。
論文 参考訳(メタデータ) (2020-04-30T11:52:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。