論文の概要: Improvements to Supervised EM Learning of Shared Kernel Models by
Feature Space Partitioning
- arxiv url: http://arxiv.org/abs/2205.15304v1
- Date: Tue, 31 May 2022 09:18:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 12:51:03.544138
- Title: Improvements to Supervised EM Learning of Shared Kernel Models by
Feature Space Partitioning
- Title（参考訳）: 機能空間分割による共有カーネルモデルの教師付きem学習の改善
- Authors: Graham W. Pulford
- Abstract要約: 本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。
まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。
結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Expectation maximisation (EM) is usually thought of as an unsupervised
learning method for estimating the parameters of a mixture distribution,
however it can also be used for supervised learning when class labels are
available. As such, EM has been applied to train neural nets including the
probabilistic radial basis function (PRBF) network or shared kernel (SK) model.
This paper addresses two major shortcomings of previous work in this area: the
lack of rigour in the derivation of the EM training algorithm; and the
computational complexity of the technique, which has limited it to low
dimensional data sets. We first present a detailed derivation of EM for the
Gaussian shared kernel model PRBF classifier, making use of data association
theory to obtain the complete data likelihood, Baum's auxiliary function (the
E-step) and its subsequent maximisation (M-step). To reduce complexity of the
resulting SKEM algorithm, we partition the feature space into $R$
non-overlapping subsets of variables. The resulting product decomposition of
the joint data likelihood, which is exact when the feature partitions are
independent, allows the SKEM to be implemented in parallel and at $R^2$ times
lower complexity. The operation of the partitioned SKEM algorithm is
demonstrated on the MNIST data set and compared with its non-partitioned
counterpart. It eventuates that improved performance at reduced complexity is
achievable. Comparisons with standard classification algorithms are provided on
a number of other benchmark data sets.
- Abstract（参考訳）: 予測最大化(EM)は通常、混合分布のパラメータを推定する教師なし学習法として考えられているが、クラスラベルが利用可能であれば教師なし学習にも利用できる。
そのため、EMは確率的ラジアル基底関数(PRBF)ネットワークや共有カーネル(SK)モデルを含むニューラルネットワークのトレーニングに応用されている。
本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、低次元データセットに制限された手法の計算複雑性の2点について述べる。
まず,gaussian shared kernel model prbf分類器のためのemの詳細な導出を行い,データ関連理論を用いてbaumの補助関数(e-step)とそれに続く最大化(m-step)の完全なデータ度を求める。
結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合$R$に分割する。
その結果、機能分割が独立であるときに正確であるジョイントデータ度を分解することで、skumは並列に実装でき、r^2$倍の複雑さで実装できる。
分割されたSKEMアルゴリズムの動作は、MNISTデータセット上で実証され、その非分割されたアルゴリズムと比較される。
複雑さの低減によるパフォーマンスの向上は実現可能である。
標準分類アルゴリズムとの比較は、他の多くのベンチマークデータセットで提供されている。
関連論文リスト
- Learning Mixtures of Experts with EM [28.48469221248906]
エキスパートの混合(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた別の"エキスパート"モデルである。
本稿では,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2024-11-09T03:44:09Z) - Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。
モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。
また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-08T14:25:46Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳（メタデータ） (2023-06-21T16:04:03Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Learning Shared Kernel Models: the Shared Kernel EM algorithm [0.0]
予測最大化 (EM) は有限混合分布のパラメータを推定するための教師なし学習法である。
まず、複数の目標追跡の分野からのデータアソシエーションのアイデアを用いた標準EMアルゴリズムの再帰について述べる。
この手法は、共有カーネルモデルに対して、ほとんど知られていないがより一般的なタイプの教師付きEMアルゴリズムに適用される。
論文 参考訳（メタデータ） (2022-05-15T10:10:08Z) - Dendritic Self-Organizing Maps for Continual Learning [0.0]
我々は、DendSOM(Dendritic-Self-Organizing Map)と呼ばれる生物学的ニューロンにインスパイアされた新しいアルゴリズムを提案する。
DendSOMは、入力空間の特定の領域からパターンを抽出する単一のSOMからなる。
ベンチマークデータセットでは、古典的なSOMやいくつかの最先端の継続的学習アルゴリズムよりも優れています。
論文 参考訳（メタデータ） (2021-10-18T14:47:19Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z) - Memory and Computation-Efficient Kernel SVM via Binary Embedding and
Ternary Model Coefficients [18.52747917850984]
カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。
メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。
本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
論文 参考訳（メタデータ） (2020-10-06T09:41:54Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳（メタデータ） (2020-09-27T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。