論文の概要: Molecular representation learning with language models and domain-relevant auxiliary tasks

• arxiv url: http://arxiv.org/abs/2011.13230v1
• Date: Thu, 26 Nov 2020 10:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 08:20:27.265872
• Title: Molecular representation learning with language models and domain-relevant auxiliary tasks
• Title（参考訳）: 言語モデルとドメイン関連課題を用いた分子表現学習
• Authors: Benedek Fabian, Thomas Edlich, H\'el\'ena Gaspar, Marwin Segler, Joshua Meyers, Marco Fiscato, Mohamed Ahmed
• Abstract要約: 本稿では,トランスフォーマーアーキテクチャ,特にBERTを適用し,薬物発見問題に対するフレキシブルで高品質な分子表現を学習する。 本研究では,自己教師型タスクの異なる組み合わせによる事前学習の効果について検討し,確立した仮想スクリーニングとQSARベンチマークの結果について報告する。
• 参考スコア（独自算出の注目度）: 1.8329209217564961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We apply a Transformer architecture, specifically BERT, to learn flexible and high quality molecular representations for drug discovery problems. We study the impact of using different combinations of self-supervised tasks for pre-training, and present our results for the established Virtual Screening and QSAR benchmarks. We show that: i) The selection of appropriate self-supervised task(s) for pre-training has a significant impact on performance in subsequent downstream tasks such as Virtual Screening. ii) Using auxiliary tasks with more domain relevance for Chemistry, such as learning to predict calculated molecular properties, increases the fidelity of our learnt representations. iii) Finally, we show that molecular representations learnt by our model `MolBert' improve upon the current state of the art on the benchmark datasets.
• Abstract（参考訳）: 本稿では,トランスフォーマーアーキテクチャ,特にBERTを適用し,薬物発見問題に対するフレキシブルで高品質な分子表現を学習する。 自己教師型タスクの異なる組み合わせによる事前学習の効果について検討し、確立した仮想スクリーニングとQSARベンチマークの結果を示す。 ご覧の通りです 一 事前学習のための適切な自己指導タスクの選択は、仮想スクリーニング等の下流タスクのパフォーマンスに重大な影響を及ぼす。 二 計算された分子特性を予測するための学習等、化学においてよりドメインに関連のある補助的なタスクを使用することにより、学習表現の忠実性が高まること。 iii) 最後に,我々のモデルであるmolbertによって学習される分子表現が,ベンチマークデータセットの現在の技術により向上することを示す。

関連論文リスト

• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Cross-Modal Learning for Chemistry Property Prediction: Large Language Models Meet Graph Machine Learning [0.0]
  グラフニューラルネットワーク(GNN)の分析能力と大規模言語モデル(LLM)の言語生成・予測能力を利用する多モード融合(MMF)フレームワークを提案する。 本フレームワークは,グラフ構造化データのモデリングにおけるGNNの有効性とLLMのゼロショットおよび少数ショット学習能力を組み合わせることにより,オーバーフィッティングのリスクを低減し,予測の改善を実現する。
  論文  参考訳（メタデータ） (2024-08-27T11:10:39Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Improving Self-supervised Molecular Representation Learning using Persistent Homology [6.263470141349622]
  自己教師付き学習(SSL)は、分子表現学習に大きな可能性を秘めている。 本稿では,複数のスケールにまたがるデータのトポロジ的特徴をモデル化するための数学的ツールである永続ホモロジー(PH)に基づくSSLについて検討する。
  論文  参考訳（メタデータ） (2023-11-29T02:58:30Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Tyger: Task-Type-Generic Active Learning for Molecular Property Prediction [121.97742787439546]
  分子の性質を正確に予測する方法は、AIによる薬物発見において重要な問題である。 アノテーションのコストを削減するため,注釈付けのための最も代表的で情報性の高いデータのみを選択するために,深層能動学習法が開発された。 本稿では,異なるタイプの学習タスクを統一的に処理できるタスク型汎用能動的学習フレームワーク(Tyger)を提案する。
  論文  参考訳（メタデータ） (2022-05-23T12:56:12Z)
• Improving VAE based molecular representations for compound property prediction [0.0]
  機械学習モデルの化学特性予測性能を簡易に向上する手法を提案する。 本稿では,プロパティ予測モデルの性能と,プロパティ予測データセットとより大きなラベル付きデータセットとの距離の関係を示す。
  論文  参考訳（メタデータ） (2022-01-13T12:57:11Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Predicting Chemical Properties using Self-Attention Multi-task Learning based on SMILES Representation [0.0]
  本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。 不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
  論文  参考訳（メタデータ） (2020-10-19T09:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。