Fugu-MT 論文翻訳(概要): Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models

論文の概要: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models

arxiv url: http://arxiv.org/abs/2409.15370v1
Date: Thu, 19 Sep 2024 02:36:04 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 13:30:54.774663
Title: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models
Title（参考訳）: Smirk:分子基盤モデルのための原子的に完全なトケナイザ
Authors: Alexius Wadell, Anoushka Bhutani, Venkatasubramanian Viswanathan,
Abstract要約: SMILES言語を対象とする13種のケミカル特異的トークン化剤を系統的に評価した。 I>smirk/i>とsmirk-gpe/i>の2つの新しいトークンを導入し,OpenSMILES仕様の全体を表す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Molecular Foundation Models are emerging as powerful tools for accelerating molecular design, material science, and cheminformatics, leveraging transformer architectures to speed up the discovery of new materials and drugs while reducing the computational cost of traditional ab initio methods. However, current models are constrained by closed-vocabulary tokenizers that fail to capture the full diversity of molecular structures. In this work, we systematically evaluate thirteen chemistry-specific tokenizers for their coverage of the SMILES language, uncovering substantial gaps. Using N-gram language models, we accessed the impact of tokenizer choice on model performance and quantified the information loss of unknown tokens. We introduce two new tokenizers, smirk and smirk-gpe, which can represent the entirety of the OpenSMILES specification while avoiding the pitfalls of existing tokenizers. Our work highlights the importance of open-vocabulary modeling for molecular foundation models and the need for chemically diverse benchmarks for cheminformatics.
Abstract（参考訳）: 分子ファンデーションモデルは、分子設計、物質科学、化学情報学を加速する強力なツールとして登場し、トランスフォーマーアーキテクチャを活用して、新しい物質や薬物の発見をスピードアップし、従来のアブイニシアト法の計算コストを削減している。しかし、現在のモデルは、分子構造の完全な多様性を捉えるのに失敗する閉語彙トークン化器によって制限されている。本研究では, SMILES言語を対象とする13種のケミカル特異的なトークン化剤を系統的に評価し, 実質的なギャップを明らかにした。 N-gram言語モデルを用いて、トークン化選択がモデル性能に与える影響にアクセスし、未知のトークンの情報損失を定量化した。 I>smirkとsmirk-gpeの2つの新しいトークン化ツールを導入し,既存のトークン化ツールの落とし穴を回避しつつOpenSMILES仕様の全体を表現する。本研究は,分子基盤モデルにおけるオープンボキャブラリモデリングの重要性と,ケミノフォマティクスのための化学的に多様なベンチマークの必要性を強調した。

関連論文リスト

Knowledge-aware contrastive heterogeneous molecular graph learning [77.94721384862699]
分子グラフを不均一な分子グラフ学習(KCHML)に符号化するパラダイムシフトを提案する。 KCHMLは、不均一な分子グラフと二重メッセージパッシング機構によって強化された3つの異なるグラフビュー-分子、元素、薬理学-を通して分子を概念化する。この設計は、プロパティ予測やドラッグ・ドラッグ・インタラクション(DDI)予測などの下流タスクに対する包括的な表現を提供する。
論文参考訳（メタデータ） (2025-02-17T11:53:58Z)
Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
論文参考訳（メタデータ） (2024-11-03T01:56:15Z)
A Large Encoder-Decoder Family of Foundation Models For Chemical Language [1.1073864511426255]
本稿では,PubChemから得られた9100万個のSMILESサンプルを事前学習した大規模エンコーダ・デコーダ化学基礎モデルを提案する。複数のベンチマークデータセットにまたがる実験は、様々なタスクに対して最先端の結果を提供する際に提案したモデルのキャパシティを検証する。
論文参考訳（メタデータ） (2024-07-24T20:30:39Z)
MolTRES: Improving Chemical Language Representation Learning for Molecular Property Prediction [14.353313239109337]
MolTRESは化学言語表現学習フレームワークである。ジェネレータと識別器のトレーニングが組み込まれており、より難しい例からモデルを学習することができる。我々のモデルは、一般的な分子特性予測タスクにおける既存の最先端モデルよりも優れています。
論文参考訳（メタデータ） (2024-07-09T01:14:28Z)
Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
論文参考訳（メタデータ） (2024-03-20T02:15:55Z)
Multi-Modal Representation Learning for Molecular Property Prediction: Sequence, Graph, Geometry [6.049566024728809]
深層学習に基づく分子特性予測は、従来の手法の資源集約性に対する解決策として登場した。本稿では,分子特性予測のための新しいマルチモーダル表現学習モデルSGGRLを提案する。モダリティ間の整合性を確保するため、SGGRLは異なる分子の類似性を最小化しながら同じ分子の表現の類似性を最大化するように訓練される。
論文参考訳（メタデータ） (2024-01-07T02:18:00Z)
MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。両者の分子表現の強さを融合させる。ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
論文参考訳（メタデータ） (2023-11-28T10:28:35Z)
A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文参考訳（メタデータ） (2022-09-12T00:56:57Z)
Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
論文参考訳（メタデータ） (2021-06-17T14:33:55Z)
Reinforced Molecular Optimization with Neighborhood-Controlled Grammars [63.84003497770347]
分子最適化のためのグラフ畳み込みポリシネットワークであるMNCE-RLを提案する。我々は、元の近傍制御された埋め込み文法を拡張して、分子グラフ生成に適用する。提案手法は, 分子最適化タスクの多種多様さにおいて, 最先端性能を実現する。
論文参考訳（メタデータ） (2020-11-14T05:42:15Z)
ASGN: An Active Semi-supervised Graph Neural Network for Molecular Property Prediction [61.33144688400446]
本稿では,ラベル付き分子とラベルなし分子の両方を組み込んだ,アクティブ半教師付きグラフニューラルネットワーク(ASGN)を提案する。教師モデルでは,分子構造や分子分布から情報を共同で活用する汎用表現を学習するための,新しい半教師付き学習手法を提案する。最後に,分子多様性の観点から,フレームワーク学習全体を通して情報的データを選択するための新しい能動的学習戦略を提案する。
論文参考訳（メタデータ） (2020-07-07T04:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。