論文の概要: Causal Graphs Underlying Generative Models: Path to Learning with Limited Data

• arxiv url: http://arxiv.org/abs/2207.07174v1
• Date: Thu, 14 Jul 2022 19:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 13:24:44.360699
• Title: Causal Graphs Underlying Generative Models: Path to Learning with Limited Data
• Title（参考訳）: 生成モデルに基づく因果グラフ:限定データによる学習への道
• Authors: Samuel C. Hoffman, Kahini Wadhawan, Payel Das, Prasanna Sattigeri, Karthikeyan Shanmugam
• Abstract要約: 我々は、事前訓練された生成オートエンコーダの潜伏符号に対する摂動実験を用いて、生成モデルによって示唆される因果グラフを明らかにする。 潜在符号間の構造方程式モデルをモデル化した効果的な因果グラフに適合することを示す。 ペプチド配列のデータセットに基づいて学習したRNNベースの生成オートエンコーダを用いて、学習した因果グラフを用いて、目に見えない配列の特定の特性を予測できることを実証した。
• 参考スコア（独自算出の注目度）: 45.38541020492725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generative models that capture rich semantics of the data and interpreting the latent representations encoded by such models are very important problems in unsupervised learning. In this work, we provide a simple algorithm that relies on perturbation experiments on latent codes of a pre-trained generative autoencoder to uncover a causal graph that is implied by the generative model. We leverage pre-trained attribute classifiers and perform perturbation experiments to check for influence of a given latent variable on a subset of attributes. Given this, we show that one can fit an effective causal graph that models a structural equation model between latent codes taken as exogenous variables and attributes taken as observed variables. One interesting aspect is that a single latent variable controls multiple overlapping subsets of attributes unlike conventional approach that tries to impose full independence. Using a pre-trained RNN-based generative autoencoder trained on a dataset of peptide sequences, we demonstrate that the learnt causal graph from our algorithm between various attributes and latent codes can be used to predict a specific property for sequences which are unseen. We compare prediction models trained on either all available attributes or only the ones in the Markov blanket and empirically show that in both the unsupervised and supervised regimes, typically, using the predictor that relies on Markov blanket attributes generalizes better for out-of-distribution sequences.
• Abstract（参考訳）: データの豊富なセマンティクスをキャプチャし、そのようなモデルによって符号化された潜在表現を解釈する生成モデルのトレーニングは、教師なし学習において非常に重要な問題である。 本研究では,事前学習された自動エンコーダの潜在符号に対する摂動実験に基づき,生成モデルに含意される因果グラフを明らかにする単純なアルゴリズムを提案する。 事前学習した属性分類器を利用して摂動実験を行い、与えられた潜在変数が属性のサブセットに与える影響をチェックする。 このことから,外因性変数として取られる潜在コードと観測変数として取られる属性との間の構造方程式モデルをモデル化する効果的な因果グラフに適合することを示す。 興味深い側面の1つは、単一の潜在変数が属性の複数の重複部分集合を制御することである。 ペプチド配列のデータセットに基づいて訓練されたRNNベースの生成オートエンコーダを用いて, アルゴリズムから学習した様々な属性と潜伏符号間の因果グラフを用いて, 未知の配列の特定の特性を予測できることを実証した。 すべての利用可能な属性またはマルコフブランケットでトレーニングされた予測モデルを比較し、通常、マルコフブランケット属性に依存する予測器を使用して、教師なしおよび教師なしのレジームの両方において、分散シーケンスにおいてより良く一般化することを実証的に示す。

関連論文リスト

• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Variational Autoencoding Molecular Graphs with Denoising Diffusion Probabilistic Model [0.0]
  本稿では,階層構造を確率論的潜在ベクトルに組み込んだ新しい深層生成モデルを提案する。 本モデルは,物理特性と活性に関する小さなデータセットを用いて,分子特性予測のための有効な分子潜在ベクトルを設計できることを実証する。
  論文  参考訳（メタデータ） (2023-07-02T17:29:41Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Learning Sparse Latent Representations for Generator Model [7.467412443287767]
  そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。 我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
  論文  参考訳（メタデータ） (2022-09-20T18:58:24Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Hierarchical Few-Shot Generative Models [18.216729811514718]
  本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。 以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
  論文  参考訳（メタデータ） (2021-10-23T19:19:39Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。