論文の概要: Circuits, Features, and Heuristics in Molecular Transformers

• arxiv url: http://arxiv.org/abs/2512.09757v1
• Date: Wed, 10 Dec 2025 15:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.577054
• Title: Circuits, Features, and Heuristics in Molecular Transformers
• Title（参考訳）: 分子変換器の回路・特徴・ヒューリスティック
• Authors: Kristof Varadi, Mark Marosi, Peter Antal,
• Abstract要約: 薬物様小分子で訓練した自己回帰変換器の力学解析を行った。 低レベルの構文解析とより抽象的な化学的妥当性制約に整合した計算パターンを同定する。
• 参考スコア（独自算出の注目度）: 0.056179939237156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers generate valid and diverse chemical structures, but little is known about the mechanisms that enable these models to capture the rules of molecular representation. We present a mechanistic analysis of autoregressive transformers trained on drug-like small molecules to reveal the computational structure underlying their capabilities across multiple levels of abstraction. We identify computational patterns consistent with low-level syntactic parsing and more abstract chemical validity constraints. Using sparse autoencoders (SAEs), we extract feature dictionaries associated with chemically relevant activation patterns. We validate our findings on downstream tasks and find that mechanistic insights can translate to predictive performance in various practical settings.
• Abstract（参考訳）: トランスフォーマーは有効で多様な化学構造を生成するが、これらのモデルが分子表現の規則を捉えることができるメカニズムについてはほとんど知られていない。 薬物のような小さな分子で訓練された自己回帰変換器の力学解析を行い、その能力の基盤となる計算構造を多段階の抽象化で明らかにする。 低レベルの構文解析とより抽象的な化学的妥当性制約に整合した計算パターンを同定する。 スパースオートエンコーダ (SAE) を用いて, 化学的に関連する活性化パターンに関連する特徴辞書を抽出する。 本研究は,下流作業における知見を検証し,機械的洞察が様々な実践的環境下での予測性能に変換可能であることを明らかにする。

関連論文リスト

• GraphXForm: Graph transformer for computer-aided molecular design [73.1842164721868]
  既存の化合物を事前訓練したデコーダのみのグラフトランスフォーマアーキテクチャであるGraphXFormを提案する。 種々の薬物設計タスクで評価し、最先端の分子設計手法と比較して優れた客観的スコアを示す。
  論文  参考訳（メタデータ） (2024-11-03T19:45:15Z)
• Pre-trained Molecular Language Models with Random Functional Group Masking [54.900360309677794]
  SMILESをベースとしたアンダーリネム分子アンダーリネム言語アンダーリネムモデルを提案し,特定の分子原子に対応するSMILESサブシーケンスをランダムにマスキングする。 この技術は、モデルに分子構造や特性をよりよく推測させ、予測能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-11-03T01:56:15Z)
• Text-Guided Multi-Property Molecular Optimization with a Diffusion Language Model [20.250683535089617]
  変換器を用いた拡散言語モデル(TransDLM)を用いたテキスト誘導多目的分子最適化手法を提案する。 物理的、化学的に詳細なセマンティクスを特異的な分子表現と融合することにより、TransDLMは様々な情報ソースを効果的に統合し、正確な最適化を導く。
  論文  参考訳（メタデータ） (2024-10-17T14:30:27Z)
• AdaMR: Adaptable Molecular Representation for Unified Pre-training Strategy [11.710702202071573]
  分子調節性表現(AdaMR)と呼ばれる,小分子薬物の大規模均一事前学習戦略を提案する。 AdaMRは、分子正準化と呼ばれる事前訓練ジョブによって達成される粒度調整可能な分子エンコーディング戦略を利用する。 6つの分子特性予測タスクと2つの生成タスクに関する事前学習モデルを微調整し、8つのタスクのうち5つについてSOTA(State-of-the-art)の結果を得た。
  論文  参考訳（メタデータ） (2023-12-28T10:53:17Z)
• Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
  我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。 我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。 複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-04T01:32:40Z)
• Semi-Supervised Junction Tree Variational Autoencoder for Molecular Property Prediction [0.0]
  本研究では, 化学特性予測における半教師付き学習を容易にするため, 最先端分子生成法であるJT-VAEを改良した。 我々はJT-VAEアーキテクチャを活用し、分子特性予測から条件付き分子生成までのタスクに最適な解釈可能な表現を学習する。
  論文  参考訳（メタデータ） (2022-08-10T03:06:58Z)
• Automatic Identification of Chemical Moieties [11.50343898633327]
  本稿では, メッセージパッシングニューラルネットワークを用いて, 原子表現から化学量を自動的に同定する手法を提案する。 本手法の汎用性は, 化学データベースにおける代表成分の選択を可能にすることによって実証される。
  論文  参考訳（メタデータ） (2022-03-30T10:58:23Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。