論文の概要: Identifiability of Product of Experts Models
- arxiv url: http://arxiv.org/abs/2310.09397v1
- Date: Fri, 13 Oct 2023 20:33:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 02:17:02.800388
- Title: Identifiability of Product of Experts Models
- Title（参考訳）: エキスパートモデルの製品識別可能性
- Authors: Spencer L. Gordon, Manav Kant, Eric Ma, Leonard J. Schulman, Andrei
Staicu
- Abstract要約: 専門家の製品(PoE)は、各ノードの値が入力時の値のAND(または製品)である階層ネットワークである。
本稿では,二項潜伏変数の層を持つエキスパートモデルの積の識別可能性の問題について検討する。
- 参考スコア（独自算出の注目度）: 5.278971176776929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Product of experts (PoE) are layered networks in which the value at each node
is an AND (or product) of the values (possibly negated) at its inputs. These
were introduced as a neural network architecture that can efficiently learn to
generate high-dimensional data which satisfy many low-dimensional constraints
-- thereby allowing each individual expert to perform a simple task. PoEs have
found a variety of applications in learning.
We study the problem of identifiability of a product of experts model having
a layer of binary latent variables, and a layer of binary observables that are
iid conditional on the latents. The previous best upper bound on the number of
observables needed to identify the model was exponential in the number of
parameters. We show: (a) When the latents are uniformly distributed, the model
is identifiable with a number of observables equal to the number of parameters
(and hence best possible). (b) In the more general case of arbitrarily
distributed latents, the model is identifiable for a number of observables that
is still linear in the number of parameters (and within a factor of two of
best-possible). The proofs rely on root interlacing phenomena for some special
three-term recurrences.
- Abstract（参考訳）: 専門家の製品(PoE)は、各ノードの値が入力時の値(おそらく否定される)のAND(または製品)である階層ネットワークである。
これらは、多くの低次元制約を満たす高次元データを生成するために効率的に学習できるニューラルネットワークアーキテクチャとして導入された。
poeは学習に様々な応用方法を見出した。
本研究では,二項潜在変数の層を持つ専門家モデルの生成物の識別可能性の問題と,二項可観測器の層が潜在変数のiid条件付きであることについて検討する。
モデルを特定するのに必要な観測値の数に関する以前の最上位境界は、パラメータの数で指数関数であった。
以下に示す。
(a) 潜在変数が均一に分散されている場合、モデルはパラメータの数に等しい観測可能な数で識別できる(したがって最もよい)。
(b) 任意の分散ラテントのより一般的な場合において、モデルはパラメータの個数でまだ線型である多くの可観測変数に対して同定可能である(そして、最良の可観測値の2倍の範囲内)。
この証明は、いくつかの特別な3期再発の根のインターレース現象に依存している。
関連論文リスト
- A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Memorization with neural nets: going beyond the worst case [5.662924503089369]
実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。
しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。
2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-30T10:06:05Z) - Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
本稿では,スパース深部潜伏生成モデルSDLGMを提案する。
表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。
推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
論文 参考訳（メタデータ） (2023-04-03T12:47:18Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Indeterminacy in Latent Variable Models: Characterization and Strong
Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。
次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文 参考訳（メタデータ） (2022-06-02T00:01:27Z) - GNisi: A graph network for reconstructing Ising models from multivariate
binarized data [0.0]
我々は、既知のIsingモデルに基づいて訓練されたグラフニューラルネットワークを用いて、GNisiと呼ばれるデータからIsingパラメータを決定する新しい手法を提案する。
我々はGNisiが既存の技術ソフトウェアよりも正確であることを示し、GNisiを遺伝子発現データに適用することにより、GNisiの手法を説明する。
論文 参考訳（メタデータ） (2021-09-09T13:27:40Z) - Deep Neural Dynamic Bayesian Networks applied to EEG sleep spindles
modeling [0.0]
本稿では,視覚的スコアリングにおいて専門家が積極的に実施する制約を組み込んだ単一チャネル脳波生成モデルを提案する。
我々は、一般化期待最大化の特別な場合として、正確に、抽出可能な推論のためのアルゴリズムを導出する。
我々は、このモデルを3つの公開データセット上で検証し、より複雑なモデルが最先端の検出器を越えられるように支援する。
論文 参考訳（メタデータ） (2020-10-16T21:48:29Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳（メタデータ） (2020-08-02T11:19:36Z) - Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。
時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。
非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
論文 参考訳（メタデータ） (2020-07-25T04:16:34Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳（メタデータ） (2020-06-01T14:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。