論文の概要: Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs

• arxiv url: http://arxiv.org/abs/2206.11990v1
• Date: Thu, 23 Jun 2022 21:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 06:03:40.545638
• Title: Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
• Title（参考訳）: Equiformer: 3D Atomistic Graphs用の同変グラフアテンション変換器
• Authors: Yi-Lun Liao and Tess Smidt
• Abstract要約: 3D関連誘導バイアスは、分子のような3D原子性グラフで動作するグラフニューラルネットワークには不可欠である。 様々な領域におけるトランスフォーマーの成功に触発されて、これらのインダクティブバイアスをトランスフォーマーに組み込む方法について研究する。 本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案する。
• 参考スコア（独自算出の注目度）: 3.0603554929274908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D-related inductive biases like translational invariance and rotational equivariance are indispensable to graph neural networks operating on 3D atomistic graphs such as molecules. Inspired by the success of Transformers in various domains, we study how to incorporate these inductive biases into Transformers. In this paper, we present Equiformer, a graph neural network leveraging the strength of Transformer architectures and incorporating $SE(3)/E(3)$-equivariant features based on irreducible representations (irreps). Irreps features encode equivariant information in channel dimensions without complicating graph structures. The simplicity enables us to directly incorporate them by replacing original operations with equivariant counterparts. Moreover, to better adapt Transformers to 3D graphs, we propose a novel equivariant graph attention, which considers both content and geometric information such as relative position contained in irreps features. To improve expressivity of the attention, we replace dot product attention with multi-layer perceptron attention and include non-linear message passing. We benchmark Equiformer on two quantum properties prediction datasets, QM9 and OC20. For QM9, among models trained with the same data partition, Equiformer achieves best results on 11 out of 12 regression tasks. For OC20, under the setting of training with IS2RE data and optionally IS2RS data, Equiformer improves upon state-of-the-art models. Code reproducing all main results will be available soon.
• Abstract（参考訳）: 翻訳不変性や回転等価性のような3D関連帰納バイアスは、分子のような3次元原子論グラフで動くグラフニューラルネットワークには不可欠である。 様々な領域におけるトランスフォーマーの成功に触発されて,これらのインダクティブバイアスをトランスフォーマーに組み込む方法について検討する。 本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案し,既約表現(不整形)に基づく$SE(3)/E(3)$-equivariant特徴を取り入れた。 irrepsの特徴は、グラフ構造を複雑にすることなく、チャネル次元の同変情報を符号化する。 単純さによって、元の操作を等価な操作に置き換えることで、それらを直接組み込むことができます。 さらに,トランスフォーマティブを3次元グラフにうまく適応させるため,irreps特徴に含まれる相対位置などの内容情報と幾何学的情報の両方を考慮した,新しい等変グラフ注目法を提案する。 注意の表現性を向上させるため,dot製品注目を多層パーセプトロン注目に置き換え,非線形メッセージパッシングを含む。 我々はEquiformerを2つの量子特性予測データセット、QM9とOC20でベンチマークした。 QM9の場合、同じデータパーティションでトレーニングされたモデルの中で、Equiformerは12の回帰タスクのうち11で最高の結果を得る。 OC20では、IS2REデータとオプションでIS2RSデータを使用したトレーニングの設定の下で、Equiformerは最先端のモデルを改善する。 主要な結果をすべて再現するコードも近く公開される。

関連論文リスト

• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Triplet Interaction Improves Graph Transformers: Accurate Molecular Graph Learning with Triplet Graph Transformers [26.11060210663556]
  本稿では,Triplet Graph Transformer(TGT)を提案する。 TGTは、まず2次元グラフから原子間距離を予測し、これらの距離を下流タスクに使用することにより、分子特性予測に適用する。
  論文  参考訳（メタデータ） (2024-02-07T02:53:06Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• Nonlinearities in Steerable SO(2)-Equivariant CNNs [7.552100672006172]
  我々は,SO(2)の表現に対する非線形性の影響を照らし出すために調和歪み解析を適用した。 我々は、非線形変換されたアクティベーションの表現を計算するための新しいFFTベースのアルゴリズムを開発した。 2Dおよび3Dデータを用いた実験では、連続対称性と正確な同値性において、精度の点で最先端と良好に比較できる結果が得られる。
  論文  参考訳（メタデータ） (2021-09-14T17:53:45Z)
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
  連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。 我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-06-18T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。