論文の概要: Fitting large mixture models using stochastic component selection

• arxiv url: http://arxiv.org/abs/2110.04776v1
• Date: Sun, 10 Oct 2021 12:39:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:33:28.630074
• Title: Fitting large mixture models using stochastic component selection
• Title（参考訳）: 確率成分選択を用いた大規模混合モデルの適合
• Authors: Milan Pape\v{z}, Tom\'a\v{s} Pevn\'y, V\'aclav \v{S}m\'idl
• Abstract要約: 本稿では,少数のコンポーネントのみを評価するために,計算とメトロポリス・ハスティングスアルゴリズムの期待値の組み合わせを提案する。 コンポーネント割り当てのマルコフ連鎖は、アルゴリズムのイテレーション間で順次生成される。 提案手法の一般性を重視し,浅い混合モデルと深い混合モデルの両方を訓練する能力を備える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional methods for unsupervised learning of finite mixture models require to evaluate the likelihood of all components of the mixture. This becomes computationally prohibitive when the number of components is large, as it is, for example, in the sum-product (transform) networks. Therefore, we propose to apply a combination of the expectation maximization and the Metropolis-Hastings algorithm to evaluate only a small number of, stochastically sampled, components, thus substantially reducing the computational cost. The Markov chain of component assignments is sequentially generated across the algorithm's iterations, having a non-stationary target distribution whose parameters vary via a gradient-descent scheme. We put emphasis on generality of our method, equipping it with the ability to train both shallow and deep mixture models which involve complex, and possibly nonlinear, transformations. The performance of our method is illustrated in a variety of synthetic and real-data contexts, considering deep models, such as mixtures of normalizing flows and sum-product (transform) networks.
• Abstract（参考訳）: 従来の有限混合モデルの教師なし学習法は、混合の全ての成分の可能性を評価する必要がある。 これはコンポーネントの数が大きい場合、例えばsum-product(transform)ネットワークの場合、計算的に禁止される。 そこで本研究では,期待最大化とメトロポリス・ハスティングス・アルゴリズムを組み合わせて,少数の統計的サンプル成分のみを評価することにより,計算コストを大幅に削減することを提案する。 成分割り当てのマルコフ連鎖はアルゴリズムの反復で連続的に生成され、パラメータが勾配の差分スキームによって変化する非定常目標分布を持つ。 我々は,この手法の一般性に重点を置いて,複雑な非線形変換を伴う浅層モデルと深層混合モデルの両方を訓練する能力を備えている。 本手法の性能は, 流れの正規化と和生成(変換)ネットワークの混合など, 深いモデルを考慮して, 様々な合成および実データコンテキストで示される。

関連論文リスト

• Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization [51.913685334368104]
  本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。 本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-18T07:26:56Z)
• Clustering based on Mixtures of Sparse Gaussian Processes [6.939768185086753]
  低次元の組込み空間を使ってデータをクラスタする方法は、マシンラーニングにおいて依然として難しい問題である。 本稿では,クラスタリングと次元還元の両立を目的とした共同定式化を提案する。 我々のアルゴリズムはスパースガウス過程の混合に基づいており、スパースガウス過程混合クラスタリング(SGP-MIC)と呼ばれる。
  論文  参考訳（メタデータ） (2023-03-23T20:44:36Z)
• Scalable Dynamic Mixture Model with Full Covariance for Probabilistic Traffic Forecasting [16.04029885574568]
  時間変化誤差過程に対するゼロ平均ガウス分布の動的混合を提案する。 提案手法は,学習すべきパラメータを数つ追加するだけで,既存のディープラーニングフレームワークにシームレスに統合することができる。 提案手法を交通速度予測タスク上で評価し,提案手法がモデル水平線を改良するだけでなく,解釈可能な時間相関構造も提供することを発見した。
  論文  参考訳（メタデータ） (2022-12-10T22:50:00Z)
• Moment Estimation for Nonparametric Mixture Models Through Implicit Tensor Decomposition [7.139680863764187]
  条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。 線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。 数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
  論文  参考訳（メタデータ） (2022-10-25T23:31:33Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Maximum Entropy Reinforcement Learning with Mixture Policies [54.291331971813364]
  MaxEntアルゴリズムを用いて混合エントロピーのトラクタブル近似を構築する。 我々は、それが限界エントロピーの合計と密接に関連していることを示しています。 我々は, 混合ポリシーケースに対するsoft actor-critic (sac) のアルゴリズム的変種を導出し, 一連の連続制御タスクで評価する。
  論文  参考訳（メタデータ） (2021-03-18T11:23:39Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• A Non-Iterative Quantile Change Detection Method in Mixture Model with Heavy-Tailed Components [5.253292484834396]
  混合モデルのパラメータ推定には、分類問題から複雑な分布の推定まで幅広い応用がある。 混合密度のパラメータを推定する現在の文献のほとんどは、反復期待最大化(EM)型アルゴリズムに基づいている。 そこで本稿では,ほぼ任意の位置スケールのファミリーで動作する混合成分数を決定するために,変更点法に基づくロバストかつ迅速なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-19T21:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。