論文の概要: Learning Shared Kernel Models: the Shared Kernel EM algorithm
- arxiv url: http://arxiv.org/abs/2205.09041v1
- Date: Sun, 15 May 2022 10:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 13:26:42.609019
- Title: Learning Shared Kernel Models: the Shared Kernel EM algorithm
- Title（参考訳）: 共有カーネルモデルを学ぶ:共有カーネルemアルゴリズム
- Authors: Graham W. Pulford
- Abstract要約: 予測最大化 (EM) は有限混合分布のパラメータを推定するための教師なし学習法である。
まず、複数の目標追跡の分野からのデータアソシエーションのアイデアを用いた標準EMアルゴリズムの再帰について述べる。
この手法は、共有カーネルモデルに対して、ほとんど知られていないがより一般的なタイプの教師付きEMアルゴリズムに適用される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Expectation maximisation (EM) is an unsupervised learning method for
estimating the parameters of a finite mixture distribution. It works by
introducing "hidden" or "latent" variables via Baum's auxiliary function $Q$
that allow the joint data likelihood to be expressed as a product of simple
factors. The relevance of EM has increased since the introduction of the
variational lower bound (VLB): the VLB differs from Baum's auxiliary function
only by the entropy of the PDF of the latent variables $Z$. We first present a
rederivation of the standard EM algorithm using data association ideas from the
field of multiple target tracking, using $K$-valued scalar data association
hypotheses rather than the usual binary indicator vectors. The same method is
then applied to a little known but much more general type of supervised EM
algorithm for shared kernel models, related to probabilistic radial basis
function networks. We address a number of shortcomings in the derivations that
have been published previously in this area. In particular, we give
theoretically rigorous derivations of (i) the complete data likelihood; (ii)
Baum's auxiliary function (the E-step) and (iii) the maximisation (M-step) in
the case of Gaussian shared kernel models. The subsequent algorithm, called
shared kernel EM (SKEM), is then applied to a digit recognition problem using a
novel 7-segment digit representation. Variants of the algorithm that use
different numbers of features and different EM algorithm dimensions are
compared in terms of mean accuracy and mean IoU. A simplified classifier is
proposed that decomposes the joint data PDF as a product of lower order PDFs
over non-overlapping subsets of variables. The effect of different numbers of
assumed mixture components $K$ is also investigated. High-level source code for
the data generation and SKEM algorithm is provided.
- Abstract（参考訳）: 予測最大化 (EM) は有限混合分布のパラメータを推定するための教師なし学習法である。
Baum の補助関数 $Q$ を通じて "hidden" あるいは "latent" 変数を導入することで、結合データを単純な因子の積として表現することができる。
変分下限 (vlb) の導入以降、em の妥当性は高まり、vlb は潜在変数 $z$ の pdf のエントロピーによってのみボームの補助関数と異なる。
まず,従来の2値指標ベクトルではなく,$K$値のスカラーデータアソシエーション仮説を用いて,複数の目標追跡分野からのデータアソシエーションのアイデアを用いて,標準EMアルゴリズムを再定義する。
この手法は、確率的ラジアル基底関数ネットワークに関連する共有カーネルモデルに対して、ほとんど知られていないがより一般的なタイプの教師付きEMアルゴリズムに適用される。
この領域で以前に発表された導出におけるいくつかの欠点に対処する。
特に、理論的に厳密な導出を与える。
(i) 完全なデータの可能性
(ii)ボームの補助機能(e-step)及び
(iii)gaussian shared kernel modelの場合の最大化(mステップ)。
その後のアルゴリズムは共有カーネルEM (SKEM) と呼ばれ、新しい7セグメントの桁表現を用いて数値認識問題に適用される。
異なる特徴量と異なるemアルゴリズム次元を用いるアルゴリズムの変種を平均精度と平均iouの観点から比較する。
連結データpdfを変数の重複しない部分集合上の下位pdfの積として分解する簡易分類器を提案する。
また, 推定混合成分の個数$K$の影響についても検討した。
データ生成およびSKEMアルゴリズムのための高レベルソースコードを提供する。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Learning High-Dimensional Differential Graphs From Multi-Attribute Data [12.94486861344922]
類似構造を持つことが知られている2つのガウス図形モデル(GGM)の違いを推定する問題を考える。
差分グラフ推定の既存の方法は単一属性(SA)モデルに基づいている。
本稿では,多属性データから差分グラフ学習のためのグループラッソペナル化Dトレース損失関数手法を解析する。
論文 参考訳（メタデータ） (2023-12-05T18:54:46Z) - Cramer Type Distances for Learning Gaussian Mixture Models by Gradient
Descent [0.0]
今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。
一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。
これらの機能は、分散強化学習とディープQネットワークに特に有用である。
論文 参考訳（メタデータ） (2023-07-13T13:43:02Z) - Low-complexity subspace-descent over symmetric positive definite
manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。
提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文 参考訳（メタデータ） (2023-05-03T11:11:46Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Improvements to Supervised EM Learning of Shared Kernel Models by
Feature Space Partitioning [0.0]
本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。
まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。
結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
論文 参考訳（メタデータ） (2022-05-31T09:18:58Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - From the Expectation Maximisation Algorithm to Autoencoded Variational
Bayes [0.0]
まず,K$成分混合密度のパラメータを推定するためのEMアルゴリズムのチュートリアルを提示する。
ビショップの2009年の書籍と同様のスタイルで、偏微分ベイズ推定を一般化EMアルゴリズムとして提示する。
我々は,EMアルゴリズムとその変分変数との明確なリンクを確立し,従って「潜伏変数」の意味を明らかにする。
論文 参考訳（メタデータ） (2020-10-23T17:23:26Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳（メタデータ） (2020-09-27T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。