論文の概要: EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations

• arxiv url: http://arxiv.org/abs/2306.12059v1
• Date: Wed, 21 Jun 2023 07:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 14:38:51.818846
• Title: EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations
• Title（参考訳）: EquiformerV2:高階表現へのスケーリングのための改良された同変変換器
• Authors: Yi-Lun Liao, Brandon Wood, Abhishek Das, Tess Smidt
• Abstract要約: EquiformerV2は,大規模なOC20データセットにおいて,従来の最先端手法よりも優れていた。 これらをまとめると、EquiformerV2を提案する。これは、大規模なOC20データセットにおける従来の最先端のメソッドを最大12%の力で上回る。
• 参考スコア（独自算出の注目度）: 9.755386409322318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant Transformers such as Equiformer have demonstrated the efficacy of applying Transformers to the domain of 3D atomistic systems. However, they are still limited to small degrees of equivariant representations due to their computational complexity. In this paper, we investigate whether these architectures can scale well to higher degrees. Starting from Equiformer, we first replace $SO(3)$ convolutions with eSCN convolutions to efficiently incorporate higher-degree tensors. Then, to better leverage the power of higher degrees, we propose three architectural improvements -- attention re-normalization, separable $S^2$ activation and separable layer normalization. Putting this all together, we propose EquiformerV2, which outperforms previous state-of-the-art methods on the large-scale OC20 dataset by up to $12\%$ on forces, $4\%$ on energies, offers better speed-accuracy trade-offs, and $2\times$ reduction in DFT calculations needed for computing adsorption energies.
• Abstract（参考訳）: Equiformerのような同変変換器は、3次元原子論系の領域に変換器を適用する効果を実証している。 しかし、それらは計算複雑性のため、いまだに小さな等変表現の次数に制限されている。 本稿では,これらのアーキテクチャが高次にスケールできるかどうかを考察する。 Equiformerから始めて、まず$SO(3)$畳み込みをeSCN畳み込みに置き換え、高次テンソルを効率的に組み込む。 次に,より高次なパワーをうまく活用するために,注意再正規化,分離可能な$s^2$アクティベーション,分離可能なレイヤ正規化という3つのアーキテクチャ上の改善を提案する。 これらをまとめると、EquiformerV2は、大規模OC20データセットにおける従来の最先端の手法を最大12 %の力で上回り、エネルギーは4 %のエネルギーで、より高速なトレードオフを提供するとともに、吸着エネルギーの計算に要するDFT計算を2 倍の時間で削減する。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• MotionAGFormer: Enhancing 3D Human Pose Estimation with a Transformer-GCNFormer Network [2.7268855969580166]
  本稿では、2つの並列トランスとGCNFormerストリームを用いてチャネル数を分割する新しいAttention-GCNFormerブロックを提案する。 提案するGCNFormerモジュールは, 隣接する接合部間の局所的関係を利用して, トランス出力を補完する新しい表現を出力する。 我々は、Human3.6MとMPI-INF-3DHPの2つの人気のあるベンチマークデータセットでモデルを評価する。
  論文  参考訳（メタデータ） (2023-10-25T01:46:35Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)
• AccelTran: A Sparsity-Aware Accelerator for Dynamic Inference with Transformers [6.0093441900032465]
  自己注意に基づくトランスフォーマーモデルは自然言語処理の分野で大きな成功を収めた。 従来の作業は、ハードウェアの利用を制限する注意操作に関わる大きな行列を直接操作する。 低オーバーヘッドで実行時にアクティベーションを発生させる新しい動的推論スキームDynaTranを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:17:23Z)
• Reducing SO(3) Convolutions to SO(2) for Efficient Equivariant GNNs [3.1618838742094457]
  等変畳み込みは高次テンソルを使用すると計算複雑性が著しく増加する。 大規模なOC-20データセットとOC-22データセットの最先端結果が得られる同変畳み込みに対する我々の新しいアプローチを利用したグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:16:13Z)
• Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs [3.0603554929274908]
  3D関連誘導バイアスは、分子のような3D原子性グラフで動作するグラフニューラルネットワークには不可欠である。 様々な領域におけるトランスフォーマーの成功に触発されて、これらのインダクティブバイアスをトランスフォーマーに組み込む方法について研究する。 本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案する。
  論文  参考訳（メタデータ） (2022-06-23T21:40:37Z)
• Residual Mixture of Experts [75.5489156421442]
  Residual Mixture of Experts (RMoE)は、下流タスクにおけるMoEビジョントランスフォーマーの効率的なトレーニングパイプラインである。 RMoEは上向きのMoEトレーニングで同等の結果を得るが、追加のトレーニングコストはわずかである。
  論文  参考訳（メタデータ） (2022-04-20T17:29:48Z)
• Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems [99.13795374152997]
  本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。 MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。 従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
  論文  参考訳（メタデータ） (2022-01-15T06:21:01Z)
• Energon: Towards Efficient Acceleration of Transformers Using Dynamic Sparse Attention [5.495006023171481]
  トランスフォーマーモデルは自然言語処理(NLP)に革命をもたらし、コンピュータビジョン(CV)タスクで有望なパフォーマンスを示した。 本研究では,動的スパースアテンションを用いて様々なトランスフォーマーを高速化するアルゴリズムアーキテクチャ共設計手法であるEnergonを提案する。 我々はエネルゴンが161Times$と8.4times$ジオ平均スピードアップを達成し、最大104times$と103times$エネルギー還元を達成することを示した。
  論文  参考訳（メタデータ） (2021-10-18T13:42:43Z)
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
  連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。 我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-06-18T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。