論文の概要: Unsupervised representational learning with recognition-parametrised
probabilistic models
- arxiv url: http://arxiv.org/abs/2209.05661v1
- Date: Tue, 13 Sep 2022 00:33:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-14 12:22:21.743540
- Title: Unsupervised representational learning with recognition-parametrised
probabilistic models
- Title（参考訳）: 認識パラメータ確率モデルを用いた教師なし表現学習
- Authors: William I.Walker, Hugo Soulat, Changmin Yu, Maneesh Sahani
- Abstract要約: 認識パラメータモデル(RPM)に基づく確率的教師なし学習の新しいアプローチを提案する。
RPMは「認識」過程を符号化し、先行分布と観察された条件分布をパラメトリする。
我々は、MNIST桁の弱教師付き学習を含む高次元データ設定でモデルを実証する。
- 参考スコア（独自算出の注目度）: 12.865596223775649
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a new approach to probabilistic unsupervised learning based on
the recognition-parametrised model (RPM): a normalised semi-parametric
hypothesis class for joint distributions over observed and latent variables.
Under the key assumption that observations are conditionally independent given
the latents, RPMs directly encode the "recognition" process, parametrising both
the prior distribution on the latents and their conditional distributions given
observations. This recognition model is paired with non-parametric descriptions
of the marginal distribution of each observed variable. Thus, the focus is on
learning a good latent representation that captures dependence between the
measurements. The RPM permits exact maximum likelihood learning in settings
with discrete latents and a tractable prior, even when the mapping between
continuous observations and the latents is expressed through a flexible model
such as a neural network. We develop effective approximations for the case of
continuous latent variables with tractable priors. Unlike the approximations
necessary in dual-parametrised models such as Helmholtz machines and
variational autoencoders, these RPM approximations introduce only minor bias,
which may often vanish asymptotically. Furthermore, where the prior on latents
is intractable the RPM may be combined effectively with standard probabilistic
techniques such as variational Bayes. We demonstrate the model in high
dimensional data settings, including a form of weakly supervised learning on
MNIST digits and the discovery of latent maps from sensory observations. The
RPM provides an effective way to discover, represent and reason
probabilistically about the latent structure underlying observational data,
functions which are critical to both animal and artificial intelligence.
- Abstract（参考訳）: 本稿では,認識パラメータモデル(RPM)に基づく確率的教師なし学習(probabilistic unsupervised learning)への新たなアプローチを提案する。
観測が条件的に独立であるとの前提の下では、rpmは直接「認識」過程をエンコードし、観測対象の事前分布と条件分布の両方をパラメトリライズする。
この認識モデルは、観測された各変数の限界分布の非パラメトリックな記述と組み合わせる。
したがって、焦点は、測定間の依存を捉える優れた潜在表現を学ぶことである。
rpmは、連続観測と潜在者間のマッピングがニューラルネットワークのような柔軟なモデルによって表現されたとしても、離散的潜在者と扱いやすい事前設定で正確な最大確率学習を可能にする。
抽出可能な先行変数を持つ連続潜伏変数の場合の効果的な近似法を開発した。
ヘルムホルツマシンや変分オートエンコーダのような双対パラメトリドモデルで必要とされる近似とは異なり、これらのRPM近似は小さなバイアスしか導入せず、漸近的に消えることがある。
さらに、前兆が難解である場合には、rpmを変分ベイズのような標準確率的手法と効果的に組み合わせることができる。
我々は,MNIST桁の弱教師付き学習形式や,知覚観測による潜在地図の発見など,高次元データ設定でモデルを実証する。
RPMは、動物と人工知能の両方にとって重要な機能である観測データに基づく潜在構造を発見し、表現し、推論する効果的な方法を提供する。
関連論文リスト
- Semiparametric inference for impulse response functions using double/debiased machine learning [49.1574468325115]
本稿では,インパルス応答関数(IRF)に対する機械学習推定手法を提案する。
提案した推定器は、処理と結果変数の完全な非パラメトリック関係に依存することができ、柔軟な機械学習アプローチを用いてIRFを推定することができる。
論文 参考訳（メタデータ） (2024-11-15T07:42:02Z) - CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
本研究は認知拡散確率モデル(CogDPM)を紹介する。
CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。
我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
論文 参考訳（メタデータ） (2024-05-03T15:54:50Z) - Prediction under Latent Subgroup Shifts with High-Dimensional
Observations [30.433078066683848]
遅延シフト適応を用いたグラフィカルモデルにおける新しい予測手法を提案する。
RPMの新規な形態は、ソース環境における因果潜伏構造を特定し、ターゲットの予測に適切に適応する。
論文 参考訳（メタデータ） (2023-06-23T12:26:24Z) - Biases in Inverse Ising Estimates of Near-Critical Behaviour [0.0]
逆推論は、ペアワイズ相互作用を経験的相関から再構成することを可能にする。
Pseudo-likelihood (PLM) などの推定値に偏りが認められた。
データ駆動法は神経科学による機能的磁気共鳴イメージング(fMRI)データセットに研究され応用された。
論文 参考訳（メタデータ） (2023-01-13T14:01:43Z) - Spatio-temporally separable non-linear latent factor learning: an
application to somatomotor cortex fMRI data [0.0]
潜在因子の脳全体の発見が可能なfMRIデータのモデルについて検討する。
空間重み付けを効率化するための新しい手法は、データの高次元性とノイズの存在に対処するために重要である。
本手法は,複数のモーターサブタスクを用いたデータを用いて,モデルが各サブタスクに対応する非絡み合った潜在因子を捕捉するかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-26T21:30:22Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - Relational Neural Markov Random Fields [29.43155380361715]
複雑なハイブリッドドメインの処理が可能な Markov Random Fields (RN-MRFs) を導入する。
本稿では,潜在的なパラメータを学習する上で重要となる擬似的推定に基づく学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-18T22:52:54Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z) - Causal Modeling with Stochastic Confounders [11.881081802491183]
この作業は、共同設立者との因果推論を拡張します。
本稿では,ランダムな入力空間を持つ表現子定理に基づく因果推論のための変分推定手法を提案する。
論文 参考訳（メタデータ） (2020-04-24T00:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。