論文の概要: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models

• arxiv url: http://arxiv.org/abs/2409.15370v2
• Date: Fri, 07 Feb 2025 18:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:05.990273
• Title: Smirk: An Atomically Complete Tokenizer for Molecular Foundation Models
• Title（参考訳）: Smirk:分子基盤モデルのための原子的に完全なトケナイザ
• Authors: Alexius Wadell, Anoushka Bhutani, Venkatasubramanian Viswanathan,
• Abstract要約: 既存のモデルは、分子空間のごく一部しか捉えない閉語彙トークン化器によって制約される。 我々は,n-gram言語モデルを低コストなプロキシとして導入し,分子特性予測のための18のRoBERTa型エンコーダの訓練と微調整により,それらの有効性を検証する。 我々は、OpenSMILES仕様を網羅した2つの新しいトークンー、SmirkとSmirk-GPEを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Text-based foundation models have become an important part of scientific discovery, with molecular foundation models accelerating advancements in molecular design and materials science. However, existing models are constrained by closed-vocabulary tokenizers which capture only a fraction of molecular space. In this work, we systematically evaluate thirty tokenizers, including 19 chemistry-specific ones, for their coverage of the SMILES molecular representation language, revealing significant gaps. To assess the impact of tokenizer choice, we introduce n-gram language models as a low-cost proxy and validate their effectiveness by training and fine-tuning 18 RoBERTa-style encoders for molecular property prediction. To overcome the limitations of existing tokenizers, we propose two new tokenizers -- Smirk and Smirk-GPE -- with full coverage of the OpenSMILES specification. Our results highlight the need for open-vocabulary modeling and chemically diverse benchmarks in cheminformatics. The proposed tokenizer framework systematically integrates nuclear, electronic, and geometric degrees of freedom; this facilitates applications in pharmacology, agriculture, biology, and energy storage.
• Abstract（参考訳）: テキストベースの基礎モデルは、分子設計と材料科学の進歩を加速させる分子基盤モデルによって、科学的な発見の重要な部分となっている。 しかし、既存のモデルは分子空間のごく一部しか捉えない閉語彙トークン化器によって制限されている。 本研究では、SMILES分子表現言語を網羅する上で、化学特異的な19種を含む30種のトークン化剤を体系的に評価し、大きなギャップを明らかにした。 トークン化剤選択の影響を評価するため,n-gram言語モデルを低コストなプロキシとして導入し,分子特性予測のための18のRoBERTa型エンコーダの訓練および微調整による有効性を検証する。 既存のトークンライザの制限を克服するため、OpenSMILES仕様を完全にカバーした2つの新しいトークンライザ、SmirkとSmirk-GPEを提案します。 ケミノフォマティクスにおけるオープン語彙モデリングと化学的に多様なベンチマークの必要性を強調した。 提案されたトークンーザフレームワークは、核、電子、幾何学的自由度を体系的に統合し、薬理学、農業、生物学、エネルギー貯蔵における応用を促進する。

関連論文リスト

• GraphXForm: Graph transformer for computer-aided molecular design with application to extraction [73.1842164721868]
  本稿では,デコーダのみのグラフトランスフォーマアーキテクチャであるGraphXFormについて述べる。 液液抽出のための2つの溶媒設計課題について評価し,4つの最先端分子設計技術より優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-03T19:45:15Z)
• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design [0.0]
  本研究は,ゼロショットテキスト条件デノボ分子生成タスクにおいて,大規模言語モデル(LLM)の知識増進プロンプトの利用について検討する。 本フレームワークは,ベンチマークデータセット上でのSOTA(State-of-the-art)ベースラインモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-18T11:37:19Z)
• Token-Mol 1.0: Tokenized drug design with large language model [10.258299488278514]
  Token-Molはトークンのみの3Dドラッグデザインモデルで、2Dや3D構造を含む全ての分子情報をトークンにエンコードする。 トランスデコーダアーキテクチャ上に構築され、ランダム因果マスキング技術を用いて訓練されている。 既存の分子事前学習モデルと比較して、Token-Molはより幅広い下流タスクを扱うのに優れた習熟度を示す。
  論文  参考訳（メタデータ） (2024-07-10T07:22:15Z)
• MolTRES: Improving Chemical Language Representation Learning for Molecular Property Prediction [14.353313239109337]
  MolTRESは化学言語表現学習フレームワークである。 ジェネレータと識別器のトレーニングが組み込まれており、より難しい例からモデルを学習することができる。 我々のモデルは、一般的な分子特性予測タスクにおける既存の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-07-09T01:14:28Z)
• MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures [2.5563339057415218]
  MolIGは、画像とグラフ構造に基づいて分子特性を予測するための、新しいMultiModaL分子事前学習フレームワークである。 両者の分子表現の強さを融合させる。 ベンチマークグループ内の分子特性予測に関連する下流タスクでは、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-11-28T10:28:35Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。