論文の概要: Causal Graphs Underlying Generative Models: Path to Learning with Limited Data

• arxiv url: http://arxiv.org/abs/2207.07174v1
• Date: Thu, 14 Jul 2022 19:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 13:24:44.360699
• Title: Causal Graphs Underlying Generative Models: Path to Learning with Limited Data
• Title（参考訳）: 生成モデルに基づく因果グラフ:限定データによる学習への道
• Authors: Samuel C. Hoffman, Kahini Wadhawan, Payel Das, Prasanna Sattigeri, Karthikeyan Shanmugam
• Abstract要約: 我々は、事前訓練された生成オートエンコーダの潜伏符号に対する摂動実験を用いて、生成モデルによって示唆される因果グラフを明らかにする。 潜在符号間の構造方程式モデルをモデル化した効果的な因果グラフに適合することを示す。 ペプチド配列のデータセットに基づいて学習したRNNベースの生成オートエンコーダを用いて、学習した因果グラフを用いて、目に見えない配列の特定の特性を予測できることを実証した。
• 参考スコア（独自算出の注目度）: 45.38541020492725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generative models that capture rich semantics of the data and interpreting the latent representations encoded by such models are very important problems in unsupervised learning. In this work, we provide a simple algorithm that relies on perturbation experiments on latent codes of a pre-trained generative autoencoder to uncover a causal graph that is implied by the generative model. We leverage pre-trained attribute classifiers and perform perturbation experiments to check for influence of a given latent variable on a subset of attributes. Given this, we show that one can fit an effective causal graph that models a structural equation model between latent codes taken as exogenous variables and attributes taken as observed variables. One interesting aspect is that a single latent variable controls multiple overlapping subsets of attributes unlike conventional approach that tries to impose full independence. Using a pre-trained RNN-based generative autoencoder trained on a dataset of peptide sequences, we demonstrate that the learnt causal graph from our algorithm between various attributes and latent codes can be used to predict a specific property for sequences which are unseen. We compare prediction models trained on either all available attributes or only the ones in the Markov blanket and empirically show that in both the unsupervised and supervised regimes, typically, using the predictor that relies on Markov blanket attributes generalizes better for out-of-distribution sequences.
• Abstract（参考訳）: データの豊富なセマンティクスをキャプチャし、そのようなモデルによって符号化された潜在表現を解釈する生成モデルのトレーニングは、教師なし学習において非常に重要な問題である。 本研究では,事前学習された自動エンコーダの潜在符号に対する摂動実験に基づき,生成モデルに含意される因果グラフを明らかにする単純なアルゴリズムを提案する。 事前学習した属性分類器を利用して摂動実験を行い、与えられた潜在変数が属性のサブセットに与える影響をチェックする。 このことから,外因性変数として取られる潜在コードと観測変数として取られる属性との間の構造方程式モデルをモデル化する効果的な因果グラフに適合することを示す。 興味深い側面の1つは、単一の潜在変数が属性の複数の重複部分集合を制御することである。 ペプチド配列のデータセットに基づいて訓練されたRNNベースの生成オートエンコーダを用いて, アルゴリズムから学習した様々な属性と潜伏符号間の因果グラフを用いて, 未知の配列の特定の特性を予測できることを実証した。 すべての利用可能な属性またはマルコフブランケットでトレーニングされた予測モデルを比較し、通常、マルコフブランケット属性に依存する予測器を使用して、教師なしおよび教師なしのレジームの両方において、分散シーケンスにおいてより良く一般化することを実証的に示す。

関連論文リスト

• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Learning Sparse Latent Representations for Generator Model [7.467412443287767]
  そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。 我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
  論文  参考訳（メタデータ） (2022-09-20T18:58:24Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Discriminative, Generative and Self-Supervised Approaches for Target-Agnostic Learning [8.666667951130892]
  生成的および自己教師型学習モデルは、そのタスクでうまく機能することが示されている。 擬似相似理論の導出した定理は、結合分布モデルの推定に関係があることも示している。
  論文  参考訳（メタデータ） (2020-11-12T15:03:40Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。