論文の概要: A standard transformer and attention with linear biases for molecular conformer generation

• arxiv url: http://arxiv.org/abs/2506.19834v1
• Date: Tue, 24 Jun 2025 17:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.760105
• Title: A standard transformer and attention with linear biases for molecular conformer generation
• Title（参考訳）: 分子コンホメータ生成のための標準変圧器と線形バイアスによる注意
• Authors: Viatcheslav Gurev, Timothy Rumbell,
• Abstract要約: 等変ネットワークは、2次元分子グラフから分子配座を生成するように設計されている。 非同変変圧器モデルは、一般化を改善するためにスケールする能力のために、実現可能な代替品として登場した。 本稿では,これらのサイズ制限を効果的に扱える位置符号化法について述べる。
• 参考スコア（独自算出の注目度）: 0.16741831494720966
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sampling low-energy molecular conformations, spatial arrangements of atoms in a molecule, is a critical task for many different calculations performed in the drug discovery and optimization process. Numerous specialized equivariant networks have been designed to generate molecular conformations from 2D molecular graphs. Recently, non-equivariant transformer models have emerged as a viable alternative due to their capability to scale to improve generalization. However, the concern has been that non-equivariant models require a large model size to compensate the lack of equivariant bias. In this paper, we demonstrate that a well-chosen positional encoding effectively addresses these size limitations. A standard transformer model incorporating relative positional encoding for molecular graphs when scaled to 25 million parameters surpasses the current state-of-the-art non-equivariant base model with 64 million parameters on the GEOM-DRUGS benchmark. We implemented relative positional encoding as a negative attention bias that linearly increases with the shortest path distances between graph nodes at varying slopes for different attention heads, similar to ALiBi, a widely adopted relative positional encoding technique in the NLP domain. This architecture has the potential to serve as a foundation for a novel class of generative models for molecular conformations.
• Abstract（参考訳）: 分子内の原子の空間配置である低エネルギー分子配座をサンプリングすることは、薬物発見と最適化プロセスにおいて多くの異なる計算を行う上で重要な課題である。 多数の特殊同変ネットワークは、2次元分子グラフから分子配座を生成するように設計されている。 近年、非同変変圧器モデルは、一般化を改善するためにスケールする能力のために、実現可能な代替品として登場している。 しかし、非同変モデルは同変バイアスの欠如を補うために大きなモデルサイズを必要とするという懸念があった。 本稿では,これらのサイズ制限を効果的に扱える位置符号化法について述べる。 GEOM-DRUGSベンチマークでは,分子グラフの相対的位置エンコーディングを2500万のパラメータに拡張した標準トランスフォーマーモデルが,6600万のパラメータを持つ最先端の非同変基底モデルを上回っている。 我々は,NLP領域で広く採用されている相対的位置符号化技術であるALiBiと同様,異なる注目領域におけるグラフノード間の最短経路距離を直線的に増加させる負の注意バイアスとして相対的位置符号化を実装した。 このアーキテクチャは、分子配座の新規な生成モデルの基盤として機能する可能性がある。

関連論文リスト

• Sampling 3D Molecular Conformers with Diffusion Transformers [13.536503487456622]
  拡散変換器 (DiT) は生成モデルにおいて高い性能を示した。 分子へのDiTの適用は、離散的な分子グラフ情報と連続した3次元幾何学の統合など、新しい課題をもたらす。 モジュールアーキテクチャを通じてこれらの課題に対処するために,DiTを適応させるフレームワークであるDiTMCを提案する。
  論文  参考訳（メタデータ） (2025-06-18T11:47:59Z)
• E(3)-equivariant models cannot learn chirality: Field-based molecular generation [51.327048911864885]
  キラリティは薬物の安全性と効力性を決定する上で重要な役割を果たしている。 回転対称性の制約に取って代わる基準回転を提案する。 提案モデルでは、キラル性を含む全ての分子測地を捕捉するが、標準ベンチマーク指標のE(3)に基づく手法と高い競争性能を保っている。
  論文  参考訳（メタデータ） (2024-02-24T17:13:58Z)
• Molecular Geometry-aware Transformer for accurate 3D Atomic System modeling [51.83761266429285]
  本稿では,ノード(原子)とエッジ(結合と非結合の原子対)を入力とし,それらの相互作用をモデル化するトランスフォーマーアーキテクチャを提案する。 MoleformerはOC20の緩和エネルギー予測の初期状態の最先端を実現し、QM9では量子化学特性の予測に非常に競争力がある。
  論文  参考訳（メタデータ） (2023-02-02T03:49:57Z)
• Modular Flows: Differential Molecular Generation [18.41106104201439]
  フローは、エンコーディングプロセスを反転させることで、分子を効果的に生成することができる。 既存のフローモデルでは、アーチファクトのデクタンス化や特定のノード/エッジの順序付けが必要となる。 我々はノードODEとグラフPDEのシステムに基づく連続正規化E(3)-同変フローを開発する。 我々のモデルは、メッセージパッシング時間ネットワークとしてキャストすることができ、その結果、密度推定と分子生成のタスクにおいて最上位のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2022-10-12T09:08:35Z)
• GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation [102.85440102147267]
  分子配座予測のための新しい生成モデルGeoDiffを提案する。 GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2022-03-06T09:47:01Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• GeoMol: Torsional Geometric Generation of Molecular 3D Conformer Ensembles [60.12186997181117]
  分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。 既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。 エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
  論文  参考訳（メタデータ） (2021-06-08T14:17:59Z)
• Conditional Constrained Graph Variational Autoencoders for Molecule Design [70.59828655929194]
  本稿では、このキーイデアを最先端のモデルで実装した、条件制約付きグラフ変分オートエンコーダ(CCGVAE)を提案する。 分子生成のために広く採用されている2つのデータセットについて、いくつかの評価指標について改善した結果を示す。
  論文  参考訳（メタデータ） (2020-09-01T21:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。