論文の概要: A Large Encoder-Decoder Family of Foundation Models For Chemical Language

• arxiv url: http://arxiv.org/abs/2407.20267v1
• Date: Wed, 24 Jul 2024 20:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 19:27:58.363258
• Title: A Large Encoder-Decoder Family of Foundation Models For Chemical Language
• Title（参考訳）: 化学言語の基礎モデルのエンコーダ・デコーダ系
• Authors: Eduardo Soares, Victor Shirasuna, Emilio Vital Brazil, Renato Cerqueira, Dmitry Zubarev, Kristin Schmidt,
• Abstract要約: 本稿では,PubChemから得られた9100万個のSMILESサンプルを事前学習した大規模エンコーダ・デコーダ化学基礎モデルを提案する。 複数のベンチマークデータセットにまたがる実験は、様々なタスクに対して最先端の結果を提供する際に提案したモデルのキャパシティを検証する。
• 参考スコア（独自算出の注目度）: 1.1073864511426255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-training methodologies for chemical language models represent a breakthrough in cheminformatics. These methods excel in tasks such as property prediction and molecule generation by learning contextualized representations of input tokens through self-supervised learning on large unlabeled corpora. Typically, this involves pre-training on unlabeled data followed by fine-tuning on specific tasks, reducing dependence on annotated datasets and broadening chemical language representation understanding. This paper introduces a large encoder-decoder chemical foundation models pre-trained on a curated dataset of 91 million SMILES samples sourced from PubChem, which is equivalent to 4 billion of molecular tokens. The proposed foundation model supports different complex tasks, including quantum property prediction, and offer flexibility with two main variants (289M and $8\times289M$). Our experiments across multiple benchmark datasets validate the capacity of the proposed model in providing state-of-the-art results for different tasks. We also provide a preliminary assessment of the compositionality of the embedding space as a prerequisite for the reasoning tasks. We demonstrate that the produced latent space is separable compared to the state-of-the-art with few-shot learning capabilities.
• Abstract（参考訳）: 化学言語モデルの大規模事前学習手法は、化学情報学のブレークスルーを表している。 これらの手法は、大きな未ラベルコーパス上の自己教師付き学習を通じて入力トークンの文脈化表現を学習することにより、特性予測や分子生成などのタスクに優れる。 通常は、ラベルのないデータで事前トレーニングを行い、特定のタスクを微調整し、注釈付きデータセットへの依存を減らし、化学言語表現の理解を広げる。 本稿では,分子トークン40億個に相当するPubChemから得られた9100万個のSMILESサンプルを事前学習した大規模エンコーダ・デコーダ化学基盤モデルを提案する。 提案した基礎モデルは、量子特性予測を含む様々な複雑なタスクをサポートし、2つの主要な変種(289Mと889M$)で柔軟性を提供する。 複数のベンチマークデータセットにまたがる実験は、様々なタスクに対して最先端の結果を提供する際に提案したモデルのキャパシティを検証する。 また,提案課題の前提条件として,埋め込み空間の構成性を予備評価する。 生成した潜伏空間は、数ショットの学習能力を持つ最先端の学習能力と比較して分離可能であることを実証する。

関連論文リスト

• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• MoleculeCLA: Rethinking Molecular Benchmark via Computational Ligand-Target Binding Analysis [18.940529282539842]
  約140,000個の小分子からなる大規模かつ高精度な分子表現データセットを構築した。 我々のデータセットは、モデルの開発と設計をガイドするために、重要な物理化学的解釈性を提供します。 このデータセットは、分子表現学習のためのより正確で信頼性の高いベンチマークとして機能すると考えています。
  論文  参考訳（メタデータ） (2024-06-13T02:50:23Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [50.756644656847165]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Structure to Property: Chemical Element Embeddings and a Deep Learning Approach for Accurate Prediction of Chemical Properties [0.0]
  本稿では,多層エンコーダやデコーダアーキテクチャなどのディープラーニング技術に基づく新しい機械学習モデルを提案する。 有機および無機化合物を含む各種入力データに適用することで,本手法がもたらす機会を実証する。 この研究で使用されるモデルは高い予測力を示し、洗練された機械学習で実現可能な進歩を裏付けるものである。
  論文  参考訳（メタデータ） (2023-09-17T19:41:32Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• Tyger: Task-Type-Generic Active Learning for Molecular Property Prediction [121.97742787439546]
  分子の性質を正確に予測する方法は、AIによる薬物発見において重要な問題である。 アノテーションのコストを削減するため,注釈付けのための最も代表的で情報性の高いデータのみを選択するために,深層能動学習法が開発された。 本稿では,異なるタイプの学習タスクを統一的に処理できるタスク型汎用能動的学習フレームワーク(Tyger)を提案する。
  論文  参考訳（メタデータ） (2022-05-23T12:56:12Z)
• Improving VAE based molecular representations for compound property prediction [0.0]
  機械学習モデルの化学特性予測性能を簡易に向上する手法を提案する。 本稿では,プロパティ予測モデルの性能と,プロパティ予測データセットとより大きなラベル付きデータセットとの距離の関係を示す。
  論文  参考訳（メタデータ） (2022-01-13T12:57:11Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Predicting Chemical Properties using Self-Attention Multi-task Learning based on SMILES Representation [0.0]
  本研究では,変圧器変圧器モデルの構造的差異について検討し,新しい自己注意モデルを提案する。 不均衡な化学データセットを用いたマルチタスク学習環境において,自己認識モジュールの表現学習性能を評価した。
  論文  参考訳（メタデータ） (2020-10-19T09:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。