論文の概要: Effective Learning of a GMRF Mixture Model

• arxiv url: http://arxiv.org/abs/2005.09030v3
• Date: Fri, 21 Jan 2022 21:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:04:26.984099
• Title: Effective Learning of a GMRF Mixture Model
• Title（参考訳）: gmrf混合モデルの効果的な学習
• Authors: Shahaf E. Finder, Eran Treister, Oren Freifeld
• Abstract要約: 我々はGMMをガウスマルコフ確率場混合モデル(GMRF-MM)に限定することを提案する。 各行列の空間パターンが知られているとき、その行列の最大近似(MLE)の効率的な最適化法を提案する。 GMRFとGMRF-MMの両症例でGLASSOの「偏り」はGLASSOよりも優れていた。
• 参考スコア（独自算出の注目度）: 8.336315962271396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning a Gaussian Mixture Model (GMM) is hard when the number of parameters is too large given the amount of available data. As a remedy, we propose restricting the GMM to a Gaussian Markov Random Field Mixture Model (GMRF-MM), as well as a new method for estimating the latter's sparse precision (i.e., inverse covariance) matrices. When the sparsity pattern of each matrix is known, we propose an efficient optimization method for the Maximum Likelihood Estimate (MLE) of that matrix. When it is unknown, we utilize the popular Graphical Least Absolute Shrinkage and Selection Operator (GLASSO) to estimate that pattern. However, we show that even for a single Gaussian, when GLASSO is tuned to successfully estimate the sparsity pattern, it does so at the price of a substantial bias of the values of the nonzero entries of the matrix, and we show that this problem only worsens in a mixture setting. To overcome this, we discard the nonzero values estimated by GLASSO, keep only its pattern estimate and use it within the proposed MLE method. This yields an effective two-step procedure that removes the bias. We show that our "debiasing" approach outperforms GLASSO in both the single-GMRF and the GMRF-MM cases. We also show that when learning priors for image patches, our method outperforms GLASSO even if we merely use an educated guess about the sparsity pattern, and that our GMRF-MM outperforms the baseline GMM on real and synthetic high-dimensional datasets.
• Abstract（参考訳）: ガウス混合モデル(GMM)の学習は、利用可能なデータ量を考えると、パラメータの数が多すぎる場合には困難である。 本稿では,GMM をガウスマルコフ確率場混合モデル (GMRF-MM) に制限すること,および後者のスパース精度(逆共分散)行列を推定する方法を提案する。 各行列のスパーシティパターンが知られている場合、その行列の最大度推定(mle)の効率的な最適化法を提案する。 未知の場合には、人気のあるグラフィカル最小絶対収縮選択演算子(glasso)を用いてそのパターンを推定する。 しかし、単一のガウスに対しても、GLASSO がスパーシティパターンをうまく推定するように調整されているとき、行列の 0 でない成分の値の実質的偏差の価格でそのことが示され、この問題は混合条件でのみ悪化する。 これを克服するために,glasso で推定される非ゼロ値を捨て,そのパターン推定のみを保持し,提案する mle 法で使用する。 これにより、バイアスを取り除く効果的な2段階の手順が得られる。 GMRFとGMRF-MMの両症例でGLASSOよりも「脱バイアス」が優れていることを示す。 また,画像パッチの事前学習において,この手法は,スパーシティパターンの知識的推測のみを用いてもGLASSOより優れており,GMRF-MMは実・合成高次元データセット上でベースラインGMMより優れていることを示す。

関連論文リスト

• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• Algorithme EM r\'egularis\'e [0.0]
  本稿では,より少ないサンプルサイズに対応するために,事前知識を効率的に活用するEMアルゴリズムの正規化バージョンを提案する。 実データを用いた実験では,クラスタリングのための提案アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-07-04T23:19:25Z)
• Regularized EM algorithm [9.367612782346205]
  本稿では,従来の知識を効率的に活用し,LSSの状況に対処できる,GMM-sの正規化EMアルゴリズムを提案する。 コンバージェンスホールドの理論的保証は、構造化共分散行列モデルや低サンプル設定のEMアルゴリズムの性能向上につながることを示す。
  論文  参考訳（メタデータ） (2023-03-27T08:32:20Z)
• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model [3.4546761246181696]
  ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。 我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
  論文  参考訳（メタデータ） (2022-12-11T04:24:52Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。