論文の概要: Cramer Type Distances for Learning Gaussian Mixture Models by Gradient
Descent
- arxiv url: http://arxiv.org/abs/2307.06753v1
- Date: Thu, 13 Jul 2023 13:43:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 14:42:08.386965
- Title: Cramer Type Distances for Learning Gaussian Mixture Models by Gradient
Descent
- Title（参考訳）: グラディエントDescentによるガウス混合モデルの学習のためのクレーマー型距離
- Authors: Ruichong Zhang
- Abstract要約: 今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。
一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。
これらの機能は、分散強化学習とディープQネットワークに特に有用である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The learning of Gaussian Mixture Models (also referred to simply as GMMs)
plays an important role in machine learning. Known for their expressiveness and
interpretability, Gaussian mixture models have a wide range of applications,
from statistics, computer vision to distributional reinforcement learning.
However, as of today, few known algorithms can fit or learn these models, some
of which include Expectation-Maximization algorithms and Sliced Wasserstein
Distance. Even fewer algorithms are compatible with gradient descent, the
common learning process for neural networks.
In this paper, we derive a closed formula of two GMMs in the univariate,
one-dimensional case, then propose a distance function called Sliced Cram\'er
2-distance for learning general multivariate GMMs. Our approach has several
advantages over many previous methods. First, it has a closed-form expression
for the univariate case and is easy to compute and implement using common
machine learning libraries (e.g., PyTorch and TensorFlow). Second, it is
compatible with gradient descent, which enables us to integrate GMMs with
neural networks seamlessly. Third, it can fit a GMM not only to a set of data
points, but also to another GMM directly, without sampling from the target
model. And fourth, it has some theoretical guarantees like global gradient
boundedness and unbiased sampling gradient. These features are especially
useful for distributional reinforcement learning and Deep Q Networks, where the
goal is to learn a distribution over future rewards. We will also construct a
Gaussian Mixture Distributional Deep Q Network as a toy example to demonstrate
its effectiveness. Compared with previous models, this model is parameter
efficient in terms of representing a distribution and possesses better
interpretability.
- Abstract（参考訳）: ガウス混合モデルの学習(GMMとも呼ばれる)は、機械学習において重要な役割を果たす。
表現力と解釈性で知られており、ガウス混合モデルは統計学、コンピュータビジョンから分布強化学習まで幅広い応用がある。
しかし、今日では、これらのモデルに適合あるいは学習できる既知のアルゴリズムはほとんどなく、その中には期待最大化アルゴリズムやスライスされたwaserstein距離が含まれる。
さらに少ないアルゴリズムは、ニューラルネットワークの一般的な学習プロセスである勾配降下と互換性がある。
本稿では,一変量,一次元の場合の2つのGMMの閉公式を導出し,一般多変量GMMを学習するためのスライスクラム'er 2-距離関数を提案する。
我々のアプローチは多くの従来の方法よりもいくつかの利点がある。
まず、univariateケース用のクローズドフォーム式を持ち、一般的な機械学習ライブラリ(pytorchやtensorflowなど)を使用して計算および実装が容易である。
第2に、勾配降下と互換性があり、GMMとニューラルネットワークをシームレスに統合することができる。
第3に、GMMは、データポイントのセットだけでなく、ターゲットモデルからサンプリングすることなく、他のGMMに直接適合させることができる。
そして第4に、大域的な勾配境界性や偏りのないサンプリング勾配といった理論的な保証がある。
これらの機能は、分散強化学習とDeep Q Networksで特に有用であり、そこでは、将来の報酬に対する分散学習が目的である。
また,ガウス混合分布深度Qネットワークを玩具例として構築し,その有効性を実証する。
従来のモデルと比較して、このモデルは分布を表す点でパラメータ効率が良く、より良い解釈性を持っている。
関連論文リスト
- Gradients of Functions of Large Matrices [18.361820028457718]
数値線形代数のワークホースを効率的に区別する方法を示す。
以前は知られていなかったLanczosとArnoldiのイテレーションのアジョイントシステムをJAXで実装し、結果として得られるコードがDiffraxと競合することを示す。
これらはすべて、問題固有のコードの最適化なしに実現されます。
論文 参考訳（メタデータ） (2024-05-27T15:39:45Z) - Deep Gaussian mixture model for unsupervised image segmentation [1.3654846342364308]
多くのタスクにおいて、十分なピクセルレベルのラベルを得るのは非常に困難である。
本稿では,ガウス混合モデル(GMM)と教師なしディープラーニング技術を組み合わせた手法を提案する。
マルチシーケンスMRI画像における梗塞領域分割の例について, 様々な実験において本手法の利点を実証する。
論文 参考訳（メタデータ） (2024-04-18T15:20:59Z) - An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model
And Gaussian Mixture Embedding For Neural Network [2.261786383673667]
新しいアルゴリズムは、古典的な期待最大化(EM)アルゴリズムよりも頑丈さと単純さをもたらす。
また、精度も向上し、学習に1回しかかからない。
論文 参考訳（メタデータ） (2023-08-18T10:17:59Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Privacy-Preserving Object Detection & Localization Using Distributed
Machine Learning: A Case Study of Infant Eyeblink Conditioning [1.3022864665437273]
オブジェクト検出によく使用される2つのアルゴリズムのスケーラブルな分散学習バージョンについて検討する。
医療分野における両アルゴリズムの適用について,心理学・神経科学のパラダイムを用いて検討した。
論文 参考訳（メタデータ） (2020-10-14T17:33:28Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - DeepGMR: Learning Latent Gaussian Mixture Models for Registration [113.74060941036664]
ポイントクラウドの登録は、3Dコンピュータビジョン、グラフィックス、ロボット工学の基本的な問題である。
本稿では,最初の学習ベース登録法であるDeep Gaussian Mixture Registration(DeepGMR)を紹介する。
提案手法は,最先端の幾何学的および学習的登録手法と比較して,良好な性能を示す。
論文 参考訳（メタデータ） (2020-08-20T17:25:16Z) - GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models [29.42264360774606]
GAN(Generative Adversarial Network)は、ゼロサムゲームを通して観測されたサンプルの分布を学習する。
本稿では,GAT-GMM(Gene Adversarial Gaussian Models)を提案する。
GAT-GMMは2つのガウスの混合学習において期待-最大化アルゴリズムと同様に機能することを示す。
論文 参考訳（メタデータ） (2020-06-18T06:11:28Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。