論文の概要: String-based Molecule Generation via Multi-decoder VAE
- arxiv url: http://arxiv.org/abs/2208.10718v1
- Date: Tue, 23 Aug 2022 03:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 12:37:51.763694
- Title: String-based Molecule Generation via Multi-decoder VAE
- Title(参考訳): マルチデコーダvaeによる文字列型分子生成
- Authors: Kisoo Kwon, Kuhwan Jung, Junghyun Park, Hwidong Na and Jinwoo Shin
- Abstract要約: 可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。
本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
- 参考スコア(独自算出の注目度): 56.465033997245776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate the problem of string-based molecular
generation via variational autoencoders (VAEs) that have served a popular
generative approach for various tasks in artificial intelligence. We propose a
simple, yet effective idea to improve the performance of VAE for the task. Our
main idea is to maintain multiple decoders while sharing a single encoder,
i.e., it is a type of ensemble techniques. Here, we first found that training
each decoder independently may not be effective as the bias of the ensemble
decoder increases severely under its auto-regressive inference. To maintain
both small bias and variance of the ensemble model, our proposed technique is
two-fold: (a) a different latent variable is sampled for each decoder (from
estimated mean and variance offered by the shared encoder) to encourage diverse
characteristics of decoders and (b) a collaborative loss is used during
training to control the aggregated quality of decoders using different latent
variables. In our experiments, the proposed VAE model particularly performs
well for generating a sample from out-of-domain distribution.
- Abstract(参考訳): 本稿では,人工知能における様々なタスクに対して一般的な生成手法である可変オートエンコーダ(VAE)による文字列ベースの分子生成の問題について検討する。
我々はタスクに対するvaeの性能を改善するためのシンプルで効果的なアイデアを提案する。
私たちの基本的な考え方は、単一のエンコーダを共有しながら複数のデコーダを維持することです。
ここではまず,各デコーダを独立して訓練することは,自動回帰推論の下でアンサンブルデコーダのバイアスが著しく増大するので,効果がないことが判明した。
アンサンブルモデルの小さなバイアスとばらつきを両立させるため,提案手法は次の2つである。
(a)デコーダごとに異なる潜伏変数をサンプリングし(共有エンコーダによって提供される推定平均と分散から)、デコーダの多様な特性を奨励する。
b)異なる潜伏変数を用いてデコーダの集約品質を制御するために,訓練中に協調的損失が使用される。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
関連論文リスト
- Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion
Models [95.47438940934413]
UNetエンコーダの最初の包括的な研究を行う。
エンコーダの特徴は緩やかに変化するが,デコーダの特徴は時間経過によって大きく変化する。
伝搬方式の利点を生かして,特定の時間ステップでデコーダを並列に実行することが可能となる。
論文 参考訳(メタデータ) (2023-12-15T08:46:43Z) - Refine, Discriminate and Align: Stealing Encoders via Sample-Wise
Prototypes and Multi-Relational Extraction [60.0276011074825]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。
これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。
より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文 参考訳(メタデータ) (2023-12-01T15:03:29Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - VOLTA: Diverse and Controllable Question-Answer Pair Generation with
Variational Mutual Information Maximizing Autoencoder [52.74518846093654]
本稿では,変分オートエンコーダを用いたVOLTAモデルを提案する。
さらに,生成プロセス上で入出力独立性を実現するためにInfoGANスタイルの潜時符号を追加することを提案する。
論文 参考訳(メタデータ) (2023-07-03T08:45:42Z) - Hyperdecoders: Instance-specific decoders for multi-task NLP [9.244884318445413]
NLPにおけるマルチタスクのための入力条件付きハイパーネットワークについて検討する。
我々は,エンコーダの出力に条件付きハイパーネットワークを用いて,デコーダのパラメータ効率適応を生成する。
論文 参考訳(メタデータ) (2022-03-15T22:39:53Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Variance Constrained Autoencoding [0.0]
エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。
本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。
実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
論文 参考訳(メタデータ) (2020-05-08T00:50:50Z) - Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。
分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
論文 参考訳(メタデータ) (2020-03-04T16:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。