論文の概要: Transformers Discover Molecular Structure Without Graph Priors
- arxiv url: http://arxiv.org/abs/2510.02259v1
- Date: Thu, 02 Oct 2025 17:42:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:21.260693
- Title: Transformers Discover Molecular Structure Without Graph Priors
- Title（参考訳）: グラフプリミティブのない分子構造をトランスフォーマーが発見
- Authors: Tobias Kreiman, Yutong Bai, Fadi Atieh, Elizabeth Weaver, Eric Qu, Aditi S. Krishnapriyan,
- Abstract要約: グラフネットワーク(GNN)は、分子機械学習のためのアーキテクチャである。
本研究では、分子エネルギーと力の近似のためにトランスフォーマーを訓練する方法を示す。
以上の結果から,GNNの多くの特性がトランスフォーマーに適応的に現れることが示唆された。
- 参考スコア（独自算出の注目度）: 17.28814700264642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks (GNNs) are the dominant architecture for molecular machine learning, particularly for molecular property prediction and machine learning interatomic potentials (MLIPs). GNNs perform message passing on predefined graphs often induced by a fixed radius cutoff or k-nearest neighbor scheme. While this design aligns with the locality present in many molecular tasks, a hard-coded graph can limit expressivity due to the fixed receptive field and slows down inference with sparse graph operations. In this work, we investigate whether pure, unmodified Transformers trained directly on Cartesian coordinates$\unicode{x2013}$without predefined graphs or physical priors$\unicode{x2013}$can approximate molecular energies and forces. As a starting point for our analysis, we demonstrate how to train a Transformer to competitive energy and force mean absolute errors under a matched training compute budget, relative to a state-of-the-art equivariant GNN on the OMol25 dataset. We discover that the Transformer learns physically consistent patterns$\unicode{x2013}$such as attention weights that decay inversely with interatomic distance$\unicode{x2013}$and flexibly adapts them across different molecular environments due to the absence of hard-coded biases. The use of a standard Transformer also unlocks predictable improvements with respect to scaling training resources, consistent with empirical scaling laws observed in other domains. Our results demonstrate that many favorable properties of GNNs can emerge adaptively in Transformers, challenging the necessity of hard-coded graph inductive biases and pointing toward standardized, scalable architectures for molecular modeling.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、特に分子特性予測と機械学習の原子間ポテンシャル(MLIP)において、分子機械学習の主要なアーキテクチャである。
GNNは、固定半径カットオフやk-アネレスト近傍スキームによってしばしば誘導される事前定義されたグラフ上でメッセージパッシングを行う。
この設計は、多くの分子タスクに存在する局所性と一致しているが、ハードコードグラフは、固定された受容場による表現性を制限し、スパースグラフ演算による推論を遅くすることができる。
本研究では、カルテシアン座標(英語版)$\unicode{x2013}$without predefined graphs or physical priors$\unicode{x2013}$can approximate molecular energys and force。
分析の出発点として、OMol25データセット上の最先端同変GNNと比較して、Transformerを競合エネルギーにトレーニングし、一致したトレーニング計算予算の下で平均絶対誤差を強制する方法を示す。
我々は、トランスフォーマーが物理的に一貫したパターン$\unicode{x2013}$、原子間距離$\unicode{x2013}$と反対に崩壊する注意重み$\unicode{x2013}$、およびハードコードバイアスがないため、異なる分子環境にわたって柔軟にそれらを適用することを発見した。
標準のTransformerを使用することで、他のドメインで観察される経験的なスケーリング法則に従って、トレーニングリソースのスケーリングに関する予測可能な改善も解放される。
以上の結果から,GNNの多くの特性がトランスフォーマーに適応的に現れることを示すとともに,ハードコードなグラフ帰納バイアスの必要性に挑戦し,分子モデリングのための標準化されたスケーラブルなアーキテクチャをめざすことができた。
関連論文リスト
- GraphXForm: Graph transformer for computer-aided molecular design [73.1842164721868]
既存の化合物を事前訓練したデコーダのみのグラフトランスフォーマアーキテクチャであるGraphXFormを提案する。
種々の薬物設計タスクで評価し、最先端の分子設計手法と比較して優れた客観的スコアを示す。
論文 参考訳（メタデータ） (2024-11-03T19:45:15Z) - Cell Graph Transformer for Nuclei Classification [78.47566396839628]
我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。
不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。
グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
論文 参考訳（メタデータ） (2024-02-20T12:01:30Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。
本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。
経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
論文 参考訳（メタデータ） (2023-10-10T08:40:47Z) - Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning [77.1421343649344]
本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。
また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
論文 参考訳（メタデータ） (2023-09-08T02:44:37Z) - CTAGE: Curvature-Based Topology-Aware Graph Embedding for Learning
Molecular Representations [11.12640831521393]
分子グラフデータから構造的洞察を抽出するために,$k$hopの離散リッチ曲率を用いたCTAGEの埋め込み手法を提案する。
その結果,ノード曲率の導入は,現在のグラフニューラルネットワークフレームワークの性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-07-25T06:13:01Z) - Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。
適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。
その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文 参考訳（メタデータ） (2021-12-09T00:08:09Z) - GeoT: A Geometry-aware Transformer for Reliable Molecular Property
Prediction and Chemically Interpretable Representation Learning [16.484048833163282]
GeoT(Geometry-aware Transformer)という,分子表現学習のためのトランスフォーマーベースの新しいフレームワークを提案する。
GeoTは、分子特性予測と同様に、信頼性の高い解釈性を提供するように設計された注意に基づくメカニズムを通じて、分子グラフ構造を学習する。
実験的なシミュレーションを含む包括的実験により、GeoTは分子構造に関する化学的な洞察を効果的に学習し、人工知能と分子科学のギャップを埋めることを明らかにした。
論文 参考訳（メタデータ） (2021-06-29T15:47:18Z) - GeoMol: Torsional Geometric Generation of Molecular 3D Conformer
Ensembles [60.12186997181117]
分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。
既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。
エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
論文 参考訳（メタデータ） (2021-06-08T14:17:59Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳（メタデータ） (2021-06-07T18:11:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。