論文の概要: Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning
- arxiv url: http://arxiv.org/abs/2002.09046v1
- Date: Thu, 20 Feb 2020 22:28:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 07:08:30.109287
- Title: Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning
- Title（参考訳）: neural bayes: 教師なし表現学習のための汎用パラメータ化法
- Authors: Devansh Arpit, Huan Wang, Caiming Xiong, Richard Socher, Yoshua Bengio
- Abstract要約: 本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。
これは一般に計算が難しい統計量の計算を可能にする。
このパラメータ化のための2つの独立したユースケースを示す。
- 参考スコア（独自算出の注目度）: 175.34232468746245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a parameterization method called Neural Bayes which allows
computing statistical quantities that are in general difficult to compute and
opens avenues for formulating new objectives for unsupervised representation
learning. Specifically, given an observed random variable $\mathbf{x}$ and a
latent discrete variable $z$, we can express $p(\mathbf{x}|z)$,
$p(z|\mathbf{x})$ and $p(z)$ in closed form in terms of a sufficiently
expressive function (Eg. neural network) using our parameterization without
restricting the class of these distributions. To demonstrate its usefulness, we
develop two independent use cases for this parameterization:
1. Mutual Information Maximization (MIM): MIM has become a popular means for
self-supervised representation learning. Neural Bayes allows us to compute
mutual information between observed random variables $\mathbf{x}$ and latent
discrete random variables $z$ in closed form. We use this for learning image
representations and show its usefulness on downstream classification tasks.
2. Disjoint Manifold Labeling: Neural Bayes allows us to formulate an
objective which can optimally label samples from disjoint manifolds present in
the support of a continuous distribution. This can be seen as a specific form
of clustering where each disjoint manifold in the support is a separate
cluster. We design clustering tasks that obey this formulation and empirically
show that the model optimally labels the disjoint manifolds. Our code is
available at \url{https://github.com/salesforce/NeuralBayes}
- Abstract（参考訳）: 一般に計算が難しい統計量の計算が可能であり,教師なし表現学習のための新しい目的を定式化するための道筋を開くためのパラメータ化手法であるneural bayesを提案する。
具体的には、観測される確率変数 $\mathbf{x}$ と潜在離散変数 $z$ が与えられたとき、これらの分布のクラスを制限することなく、十分に表現力のある関数(ニューラルネットワークなど)を用いて、閉じた形で $p(\mathbf{x}|z)$, $p(z|\mathbf{x})$, $p(z)$ を表現できる。
1) 相互情報最大化(mim: mutual information maximization) mimは自己教師付き表現学習の一般的な手段となっている。
ニューラルベイズは観測された確率変数 $\mathbf{x}$ と潜在離散確率変数 $z$ の相互情報を閉じた形式で計算できる。
これを画像表現の学習に利用し,下流分類タスクにおける有用性を示す。
2. 共役多様体のラベル付け: ニューラルベイは、連続分布の支持に存在する共役多様体のサンプルを最適にラベル付けできる目的を定式化することができる。
これは、サポート内の各非連結多様体が別個のクラスタであるようなクラスタリングの特定の形式と見なすことができる。
この定式化に従うクラスタリングタスクを設計し、モデルが不随伴多様体を最適にラベル付けすることを経験的に示す。
私たちのコードは \url{https://github.com/salesforce/NeuralBayes} で利用可能です。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - SymmetricDiffusers: Learning Discrete Diffusion on Finite Symmetric Groups [14.925722398371498]
本稿では,S_n$以上の複雑な分布を学習するタスクを単純化する離散拡散モデルを提案する。
我々のモデルは、4桁のMNIST画像のソートを含む課題の解決において、最先端または同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-03T19:37:40Z) - Biology-inspired joint distribution neurons based on Hierarchical Correlation Reconstruction allowing for multidirectional neural networks [0.49728186750345144]
HCRを用いた新しい人工ニューロン(階層的相関再構成)
ネットワークはまた $rho(y,z|x) のような確率分布(ジョイント)を伝播することもできる。
論文 参考訳（メタデータ） (2024-05-08T14:49:27Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳（メタデータ） (2022-11-14T04:14:37Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Neural Implicit Manifold Learning for Topology-Aware Density Estimation [15.878635603835063]
現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。
我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
論文 参考訳（メタデータ） (2022-06-22T18:00:00Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - For Manifold Learning, Deep Neural Networks can be Locality Sensitive
Hash Functions [14.347610075713412]
ニューラル表現は、各入力を埋め込みにマップするLSHライクな関数として見ることができる。
この行動の重要な結果は、見えないクラスへのワンショット学習です。
論文 参考訳（メタデータ） (2021-03-11T18:57:47Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。