論文の概要: Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data
- arxiv url: http://arxiv.org/abs/2207.07174v2
- Date: Thu, 29 Aug 2024 19:27:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 20:50:35.771043
- Title: Attribute Graphs Underlying Molecular Generative Models: Path to Learning with Limited Data
- Title(参考訳): 分子生成モデルに基づく属性グラフ:限られたデータによる学習への道
- Authors: Samuel C. Hoffman, Payel Das, Karthikeyan Shanmugam, Kahini Wadhawan, Prasanna Sattigeri,
- Abstract要約: 本研究では,事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに属性グラフを探索するアルゴリズムを提案する。
潜在符号間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。
小分子の大きなデータセットで訓練された事前学習された生成オートエンコーダを用いて、グラフィカルモデルを用いて特定の特性を予測できることを実証する。
- 参考スコア(独自算出の注目度): 42.517927809224275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training generative models that capture rich semantics of the data and interpreting the latent representations encoded by such models are very important problems in un-/self-supervised learning. In this work, we provide a simple algorithm that relies on perturbation experiments on latent codes of a pre-trained generative autoencoder to uncover an attribute graph that is implied by the generative model. We perform perturbation experiments to check for influence of a given latent variable on a subset of attributes. Given this, we show that one can fit an effective graphical model that models a structural equation model between latent codes taken as exogenous variables and attributes taken as observed variables. One interesting aspect is that a single latent variable controls multiple overlapping subsets of attributes unlike conventional approaches that try to impose full independence. Using a pre-trained generative autoencoder trained on a large dataset of small molecules, we demonstrate that the graphical model between various molecular attributes and latent codes learned by our algorithm can be used to predict a specific property for molecules which are drawn from a different distribution. We compare prediction models trained on various feature subsets chosen by simple baselines, as well as existing causal discovery and sparse learning/feature selection methods, with the ones in the derived Markov blanket from our method. Results show empirically that the predictor that relies on our Markov blanket attributes is robust to distribution shifts when transferred or fine-tuned with a few samples from the new distribution, especially when training data is limited.
- Abstract(参考訳): データのリッチなセマンティクスをキャプチャし、そのようなモデルによって符号化された潜在表現を解釈する生成モデルを訓練することは、教師なし学習において非常に重要な問題である。
本研究では、事前学習された生成オートエンコーダの潜伏符号の摂動実験を頼りに、生成モデルによって示唆される属性グラフを探索する簡単なアルゴリズムを提案する。
我々は摂動実験を行い、与えられた潜在変数が属性のサブセットに与える影響をチェックする。
この結果から,外因性変数として取られた潜在符号と,観測された変数として取られた属性との間の構造方程式モデルをモデル化する有効なグラフィカルモデルに適合することを示す。
興味深い側面の1つは、単一の潜伏変数が、完全な独立を強制しようとする従来のアプローチとは異なり、属性の複数の重複部分集合を制御することである。
小分子の大規模なデータセットに基づいて学習した事前学習された生成自己エンコーダを用いて,本アルゴリズムで学習した様々な分子特性と潜時符号の間のグラフィカルモデルを用いて,異なる分布から引き出された分子の特定の特性を予測することができることを示す。
従来の因果探索法やスパース学習/特徴選択法と同様に,単純なベースラインで選択された様々な特徴サブセットに基づいて訓練された予測モデルと,本手法から抽出したマルコフブランケットの予測モデルを比較した。
その結果、マルコフの毛布属性に依存する予測器は、新しい分布からいくつかのサンプルを転送または微調整した場合、特にトレーニングデータに制限がある場合、分布シフトに対して頑健であることが実証された。
関連論文リスト
- Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。
本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文 参考訳(メタデータ) (2024-04-26T06:00:27Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳(メタデータ) (2022-12-09T03:58:22Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Learning Sparse Latent Representations for Generator Model [7.467412443287767]
そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。
我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
論文 参考訳(メタデータ) (2022-09-20T18:58:24Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2022-01-30T16:43:40Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳(メタデータ) (2020-12-12T04:18:50Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Discriminative, Generative and Self-Supervised Approaches for
Target-Agnostic Learning [8.666667951130892]
生成的および自己教師型学習モデルは、そのタスクでうまく機能することが示されている。
擬似相似理論の導出した定理は、結合分布モデルの推定に関係があることも示している。
論文 参考訳(メタデータ) (2020-11-12T15:03:40Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。