Fugu-MT 論文翻訳(概要): Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models

論文の概要: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models

arxiv url: http://arxiv.org/abs/2409.15370v1
Date: Thu, 19 Sep 2024 02:36:04 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 13:30:54.774663
Title: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models
Title（参考訳）: Smirk:分子基盤モデルのための原子的に完全なトケナイザ
Authors: Alexius Wadell, Anoushka Bhutani, Venkatasubramanian Viswanathan,
Abstract要約: SMILES言語を対象とする13種のケミカル特異的トークン化剤を系統的に評価した。 I>smirk/i>とsmirk-gpe/i>の2つの新しいトークンを導入し,OpenSMILES仕様の全体を表す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Molecular Foundation Models are emerging as powerful tools for accelerating molecular design, material science, and cheminformatics, leveraging transformer architectures to speed up the discovery of new materials and drugs while reducing the computational cost of traditional ab initio methods. However, current models are constrained by closed-vocabulary tokenizers that fail to capture the full diversity of molecular structures. In this work, we systematically evaluate thirteen chemistry-specific tokenizers for their coverage of the SMILES language, uncovering substantial gaps. Using N-gram language models, we accessed the impact of tokenizer choice on model performance and quantified the information loss of unknown tokens. We introduce two new tokenizers, smirk and smirk-gpe, which can represent the entirety of the OpenSMILES specification while avoiding the pitfalls of existing tokenizers. Our work highlights the importance of open-vocabulary modeling for molecular foundation models and the need for chemically diverse benchmarks for cheminformatics.
Abstract（参考訳）: 分子ファンデーションモデルは、分子設計、物質科学、化学情報学を加速する強力なツールとして登場し、トランスフォーマーアーキテクチャを活用して、新しい物質や薬物の発見をスピードアップし、従来のアブイニシアト法の計算コストを削減している。しかし、現在のモデルは、分子構造の完全な多様性を捉えるのに失敗する閉語彙トークン化器によって制限されている。本研究では, SMILES言語を対象とする13種のケミカル特異的なトークン化剤を系統的に評価し, 実質的なギャップを明らかにした。 N-gram言語モデルを用いて、トークン化選択がモデル性能に与える影響にアクセスし、未知のトークンの情報損失を定量化した。 I>smirkとsmirk-gpeの2つの新しいトークン化ツールを導入し,既存のトークン化ツールの落とし穴を回避しつつOpenSMILES仕様の全体を表現する。本研究は,分子基盤モデルにおけるオープンボキャブラリモデリングの重要性と,ケミノフォマティクスのための化学的に多様なベンチマークの必要性を強調した。

関連論文リスト

GraphXForm: Graph transformer for computer-aided molecular design with application to extraction [73.1842164721868]
本稿では,デコーダのみのグラフトランスフォーマアーキテクチャであるGraphXFormについて述べる。液液抽出のための2つの溶媒設計課題について評価し,4つの最先端分子設計技術より優れていることを示した。
論文参考訳（メタデータ） (2024-11-03T19:45:15Z)
Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文参考訳（メタデータ） (2024-11-03T01:56:15Z)
Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design [0.0]
本研究は,ゼロショットテキスト条件デノボ分子生成タスクにおいて,大規模言語モデル(LLM)の知識増進プロンプトの利用について検討する。本フレームワークは,ベンチマークデータセット上でのSOTA(State-of-the-art)ベースラインモデルの有効性を実証する。
論文参考訳（メタデータ） (2024-08-18T11:37:19Z)
Token-Mol 1.0: Tokenized drug design with large language model [10.258299488278514]
Token-Molはトークンのみの3Dドラッグデザインモデルで、2Dや3D構造を含む全ての分子情報をトークンにエンコードする。トランスデコーダアーキテクチャ上に構築され、ランダム因果マスキング技術を用いて訓練されている。既存の分子事前学習モデルと比較して、Token-Molはより幅広い下流タスクを扱うのに優れた習熟度を示す。
論文参考訳（メタデータ） (2024-07-10T07:22:15Z)
MolTRES: Improving Chemical Language Representation Learning for Molecular Property Prediction [14.353313239109337]
MolTRESは化学言語表現学習フレームワークである。ジェネレータと識別器のトレーニングが組み込まれており、より難しい例からモデルを学習することができる。我々のモデルは、一般的な分子特性予測タスクにおける既存の最先端モデルよりも優れています。
論文参考訳（メタデータ） (2024-07-09T01:14:28Z)
MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。両者の分子表現の強さを融合させる。ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
論文参考訳（メタデータ） (2023-11-28T10:28:35Z)
Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
論文参考訳（メタデータ） (2023-10-22T04:06:44Z)
Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文参考訳（メタデータ） (2023-02-04T01:32:40Z)
MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
論文参考訳（メタデータ） (2022-12-20T19:32:30Z)
A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文参考訳（メタデータ） (2022-09-12T00:56:57Z)
Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
論文参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。