論文の概要: Molecular representation learning with language models and
domain-relevant auxiliary tasks
- arxiv url: http://arxiv.org/abs/2011.13230v1
- Date: Thu, 26 Nov 2020 10:55:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 08:20:27.265872
- Title: Molecular representation learning with language models and
domain-relevant auxiliary tasks
- Title(参考訳): 言語モデルとドメイン関連課題を用いた分子表現学習
- Authors: Benedek Fabian, Thomas Edlich, H\'el\'ena Gaspar, Marwin Segler,
Joshua Meyers, Marco Fiscato, Mohamed Ahmed
- Abstract要約: 本稿では,トランスフォーマーアーキテクチャ,特にBERTを適用し,薬物発見問題に対するフレキシブルで高品質な分子表現を学習する。
本研究では,自己教師型タスクの異なる組み合わせによる事前学習の効果について検討し,確立した仮想スクリーニングとQSARベンチマークの結果について報告する。
- 参考スコア(独自算出の注目度): 1.8329209217564961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We apply a Transformer architecture, specifically BERT, to learn flexible and
high quality molecular representations for drug discovery problems. We study
the impact of using different combinations of self-supervised tasks for
pre-training, and present our results for the established Virtual Screening and
QSAR benchmarks. We show that: i) The selection of appropriate self-supervised
task(s) for pre-training has a significant impact on performance in subsequent
downstream tasks such as Virtual Screening. ii) Using auxiliary tasks with more
domain relevance for Chemistry, such as learning to predict calculated
molecular properties, increases the fidelity of our learnt representations.
iii) Finally, we show that molecular representations learnt by our model
`MolBert' improve upon the current state of the art on the benchmark datasets.
- Abstract(参考訳): 本稿では,トランスフォーマーアーキテクチャ,特にBERTを適用し,薬物発見問題に対するフレキシブルで高品質な分子表現を学習する。
自己教師型タスクの異なる組み合わせによる事前学習の効果について検討し、確立した仮想スクリーニングとQSARベンチマークの結果を示す。
ご覧の通りです
一 事前学習のための適切な自己指導タスクの選択は、仮想スクリーニング等の下流タスクのパフォーマンスに重大な影響を及ぼす。
二 計算された分子特性を予測するための学習等、化学においてよりドメインに関連のある補助的なタスクを使用することにより、学習表現の忠実性が高まること。
iii) 最後に,我々のモデルであるmolbertによって学習される分子表現が,ベンチマークデータセットの現在の技術により向上することを示す。
関連論文リスト
- Improving Self-supervised Molecular Representation Learning using
Persistent Homology [6.263470141349622]
自己教師付き学習(SSL)は、分子表現学習に大きな可能性を秘めている。
本稿では,複数のスケールにまたがるデータのトポロジ的特徴をモデル化するための数学的ツールである永続ホモロジー(PH)に基づくSSLについて検討する。
論文 参考訳(メタデータ) (2023-11-29T02:58:30Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular
Property Prediction [13.55018269009361]
我々は、分子グラフ表現学習のための新しい自己教師付き学習フレームワーク、KPGT(Knowledge-guided Pre-training of Graph Transformer)を紹介する。
KPGTは、いくつかの分子特性予測タスクにおける最先端の手法よりも優れた性能を提供することができる。
論文 参考訳(メタデータ) (2022-06-02T08:22:14Z) - Tyger: Task-Type-Generic Active Learning for Molecular Property
Prediction [121.97742787439546]
分子の性質を正確に予測する方法は、AIによる薬物発見において重要な問題である。
アノテーションのコストを削減するため,注釈付けのための最も代表的で情報性の高いデータのみを選択するために,深層能動学習法が開発された。
本稿では,異なるタイプの学習タスクを統一的に処理できるタスク型汎用能動的学習フレームワーク(Tyger)を提案する。
論文 参考訳(メタデータ) (2022-05-23T12:56:12Z) - Improving VAE based molecular representations for compound property
prediction [0.0]
機械学習モデルの化学特性予測性能を簡易に向上する手法を提案する。
本稿では,プロパティ予測モデルの性能と,プロパティ予測データセットとより大きなラベル付きデータセットとの距離の関係を示す。
論文 参考訳(メタデータ) (2022-01-13T12:57:11Z) - Multitask Adaptation by Retrospective Exploration with Learned World
Models [77.34726150561087]
本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。
このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
論文 参考訳(メタデータ) (2021-10-25T20:02:57Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳(メタデータ) (2021-02-22T18:56:34Z) - Reasoning over Vision and Language: Exploring the Benefits of
Supplemental Knowledge [59.87823082513752]
本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。
我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。
この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
論文 参考訳(メタデータ) (2021-01-15T08:37:55Z) - Predicting Chemical Properties using Self-Attention Multi-task Learning
based on SMILES Representation [0.0]
本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。
不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
論文 参考訳(メタデータ) (2020-10-19T09:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。