論文の概要: Posterior Collapse of a Linear Latent Variable Model
- arxiv url: http://arxiv.org/abs/2205.04009v1
- Date: Mon, 9 May 2022 02:30:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 14:45:02.609475
- Title: Posterior Collapse of a Linear Latent Variable Model
- Title（参考訳）: 線形潜在変数モデルの後方崩壊
- Authors: Zihao Wang, Liu Ziyin
- Abstract要約: この研究は、ベイズディープラーニングの実践で頻繁に起こる後部崩壊の存在と原因を特定する。
一般線形潜在変数モデルでは, 後方崩壊の性質を, 先行による平均値の正則化と可能性の競合として正確に同定する。
- 参考スコア（独自算出の注目度）: 6.2255027793924285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work identifies the existence and cause of a type of posterior collapse
that frequently occurs in the Bayesian deep learning practice. For a general
linear latent variable model that includes linear variational autoencoders as a
special case, we precisely identify the nature of posterior collapse to be the
competition between the likelihood and the regularization of the mean due to
the prior. Our result also suggests that posterior collapse may be a general
problem of learning for deeper architectures and deepens our understanding of
Bayesian deep learning.
- Abstract（参考訳）: この研究は、ベイジアン深層学習において頻繁に起こる、ある種の後方崩壊の存在と原因を特定するものである。
線形変分オートエンコーダを特別な場合として含む一般線形潜在変数モデルに対して, 後方崩壊の性質を, 先行による平均値の正則化と可能性の競合として正確に同定する。
また, 奥行き崩壊は, より深いアーキテクチャの学習の一般的な問題であり, ベイズ深層学習の理解を深める可能性も示唆した。
関連論文リスト
- Grokking at the Edge of Linear Separability [1.024113475677323]
本研究では,ロジスティック分類の長期的ダイナミクスを,定数ラベルを持つランダム特徴モデルを用いて解析する。
線形分離性の頂点にあるトレーニングセットに分類を適用すると、Grokkingが増幅されることが分かる。
論文 参考訳（メタデータ） (2024-10-06T14:08:42Z) - Generalized Laplace Approximation [23.185126261153236]
我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。
正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。
我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
論文 参考訳（メタデータ） (2024-05-22T11:11:42Z) - Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders [25.61363481391964]
変分オートエンコーダ(VAE)における後部崩壊現象は、学習された潜伏変数の品質を妨げうる。
本研究では, 後部崩壊の理論的理解を, 条件付きVAEと階層型VAEの2つの重要な, 広く普及しているがあまり研究されていないクラスに進める。
論文 参考訳（メタデータ） (2023-06-08T08:22:27Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - BaCaDI: Bayesian Causal Discovery with Unknown Interventions [118.93754590721173]
BaCaDIは因果構造と介入の両方の潜在確率的表現の連続的な空間で機能する。
BaCaDIは、合成因果発見タスクとシミュレートされた遺伝子発現データの実験において、因果構造と介入ターゲットを識別する関連手法より優れている。
論文 参考訳（メタデータ） (2022-06-03T16:25:48Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳（メタデータ） (2021-06-14T17:52:49Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-28T11:07:59Z) - Discrete Variational Attention Models for Language Generation [51.88612022940496]
本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。
離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
論文 参考訳（メタデータ） (2020-04-21T05:49:04Z) - Total Deep Variation for Linear Inverse Problems [71.90933869570914]
本稿では,近年のアーキテクチャ設計パターンを深層学習から活用する,学習可能な汎用正規化手法を提案する。
本稿では,古典的画像復元と医用画像再構成問題に対する最先端の性能について述べる。
論文 参考訳（メタデータ） (2020-01-14T19:01:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。