論文の概要: Unbiased Learning of Deep Generative Models with Structured Discrete Representations

• arxiv url: http://arxiv.org/abs/2306.08230v2
• Date: Tue, 14 Nov 2023 06:52:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 18:51:01.712598
• Title: Unbiased Learning of Deep Generative Models with Structured Discrete Representations
• Title（参考訳）: 離散表現構造を持つ深部生成モデルの不偏学習
• Authors: Harry Bendekgey, Gabriel Hope and Erik B. Sudderth
• Abstract要約: 構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。 我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。 メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
• 参考スコア（独自算出の注目度）: 7.9057320008285945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By composing graphical models with deep learning architectures, we learn generative models with the strengths of both frameworks. The structured variational autoencoder (SVAE) inherits structure and interpretability from graphical models, and flexible likelihoods for high-dimensional data from deep learning, but poses substantial optimization challenges. We propose novel algorithms for learning SVAEs, and are the first to demonstrate the SVAE's ability to handle multimodal uncertainty when data is missing by incorporating discrete latent variables. Our memory-efficient implicit differentiation scheme makes the SVAE tractable to learn via gradient descent, while demonstrating robustness to incomplete optimization. To more rapidly learn accurate graphical model parameters, we derive a method for computing natural gradients without manual derivations, which avoids biases found in prior work. These optimization innovations enable the first comparisons of the SVAE to state-of-the-art time series models, where the SVAE performs competitively while learning interpretable and structured discrete data representations.
• Abstract（参考訳）: グラフィカルモデルとディープラーニングアーキテクチャを組み合わせることで、両方のフレームワークの強みで生成モデルを学びます。 構造化変分オートエンコーダ(SVAE)は、グラフィカルモデルから構造と解釈可能性を受け継ぎ、ディープラーニングから高次元データに柔軟な可能性をもたらすが、かなりの最適化課題が生じる。 本稿では,svaeを学習するための新しいアルゴリズムを提案し,離散的潜在変数を組み込んだデータ欠落時のマルチモーダル不確実性に対処するsvaeの能力を示す。 メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。 正確なグラフィカルモデルパラメータをより迅速に学習するために,手作業による導出を伴わずに自然勾配を計算する手法を導出する。 これらの最適化の革新はSVAEと最先端の時系列モデルの最初の比較を可能にし、SVAEは解釈可能で構造化された離散データ表現を学習しながら競争的に機能する。

関連論文リスト

• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Revisiting Structured Variational Autoencoders [11.998116457994994]
  構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。 その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。 ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
  論文  参考訳（メタデータ） (2023-05-25T23:51:18Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Learning Time-Varying Graphs from Online Data [39.21234914444073]
  本研究では,オンラインデータから時間変化グラフを学習するアルゴリズムフレームワークを提案する。 モデルに依存しない、すなわち抽象的な定式化において理論的に解析することができる。 フレームワークを3つのよく知られたグラフ学習モデル、すなわちガウス図形モデル(GGM)、構造方程式モデル(SEM)、滑らか性に基づくモデル(SBM)に特化する。
  論文  参考訳（メタデータ） (2021-10-21T09:46:44Z)
• LocalGLMnet: interpretable deep learning for tabular data [0.0]
  一般化線形モデルと類似した特徴を共用する新しいネットワークアーキテクチャを提案する。 我々のアプローチは、シェープリー値と積分勾配の精神を加法的に分解する。
  論文  参考訳（メタデータ） (2021-07-23T07:38:33Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Learning Variational Data Assimilation Models and Solvers [34.22350850350653]
  データ同化のためのエンドツーエンドニューラルネットワークアーキテクチャを導入する。 提案するエンドツーエンド学習アーキテクチャの重要な特徴は、教師なし戦略と教師なし戦略の両方を用いてNNモデルをトレーニングできることである。
  論文  参考訳（メタデータ） (2020-07-25T14:28:48Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。