論文の概要: FreeCG: Free the Design Space of Clebsch-Gordan Transform for Machine Learning Force Fields

• arxiv url: http://arxiv.org/abs/2407.02263v3
• Date: Wed, 24 Jul 2024 12:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 18:31:55.856615
• Title: FreeCG: Free the Design Space of Clebsch-Gordan Transform for Machine Learning Force Fields
• Title（参考訳）: FreeCG: 機械学習力場のためのClebsch-Gordan変換の設計空間を自由に
• Authors: Shihao Shao, Haoran Geng, Zun Wang, Qinghua Cui,
• Abstract要約: 置換不変入力にCG変換層を実装することで、対称性に影響を与えることなく、この層の設計が完全に自由になることを示す。 我々は,群CG変換をスパースパス,抽象エッジシャッフル,アテンションエンハンサーで実現し,強力かつ効率的なCG変換層を形成する。 FreeCGは、MD17、rMD17、MD22の強制予測と、顕著な拡張を伴うQM9データセットのプロパティ予測を達成している。
• 参考スコア（独自算出の注目度）: 3.2308327373486496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Clebsch-Gordan Transform (CG transform) effectively encodes many-body interactions. Many studies have proven its accuracy in depicting atomic environments, although this comes with high computational needs. The computational burden of this challenge is hard to reduce due to the need for permutation equivariance, which limits the design space of the CG transform layer. We show that, implementing the CG transform layer on permutation-invariant inputs allows complete freedom in the design of this layer without affecting symmetry. Developing further on this premise, our idea is to create a CG transform layer that operates on permutation-invariant abstract edges generated from real edge information. We bring in group CG transform with sparse path, abstract edges shuffling, and attention enhancer to form a powerful and efficient CG transform layer. Our method, known as FreeCG, achieves State-of-The-Art (SoTA) results in force prediction for MD17, rMD17, MD22, and property prediction in QM9 datasets with notable enhancement. The extensibility to other models is also examined. Molecular dynamics simulations are carried out on MD17 and other periodic systems, including water and LiPS, showcasing the capacity for real-world applications of FreeCG. It introduces a novel paradigm for carrying out efficient and expressive CG transform in future geometric neural network designs.
• Abstract（参考訳）: Clebsch-Gordan変換(CG変換)は、多体相互作用を効果的に符号化する。 多くの研究は原子環境の描写においてその正確さを証明しているが、これは高い計算的要求を伴っている。 この課題の計算負荷は、CG変換層の設計空間を制限する置換等式を必要とするため、低減が困難である。 置換不変入力にCG変換層を実装することにより、対称性に影響を与えることなく、この層の設計が完全に自由になることを示す。 この前提に基づいてさらに発展し、実際のエッジ情報から生成された置換不変抽象エッジで動作するCG変換層を作成する。 我々は,群CG変換をスパースパス,抽象エッジシャッフル,アテンションエンハンサーで実現し,強力かつ効率的なCG変換層を形成する。 提案手法はFreeCGと呼ばれ, MD17, rMD17, MD22の強制予測と, 顕著な拡張を伴うQM9データセットの特性予測を行う。 また,他のモデルへの拡張性についても検討した。 分子動力学シミュレーションは、水やLiPSを含むMD17および他の周期系で行われ、FreeCGの実際の応用能力を示している。 将来の幾何学的ニューラルネットワーク設計において、効率的かつ表現力のあるCG変換を実行するための新しいパラダイムを導入している。

関連論文リスト

• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• CompletionFormer: Depth Completion with Convolutions and Vision Transformers [0.0]
  本稿では、ピラミッド構造における深度補完モデルを構築するための基本単位として、畳み込み注意層と視覚変換器を1つのブロックに深く結合したJCAT(Joint Convolutional Attention and Transformer Block)を提案する。 我々のCompletionFormerは、屋外のKITTIDepth Completionベンチマークと屋内のNYUv2データセットで最先端のCNNベースの手法より優れており、純粋なTransformerベースの手法に比べてはるかに高い効率(約1/3FLOPs)を実現しています。
  論文  参考訳（メタデータ） (2023-04-25T17:59:47Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Cascade Image Matting with Deformable Graph Refinement [9.850709729559757]
  低分解能から高分解能までの交配を行うネットワークカスケードアーキテクチャを提案する。 また、グラフニューラルネットワーク(GNN)に基づくデフォーマブルグラフリファインメント(DGR)モジュールも導入しています。 実験結果は、CasDGRが合成データセットで最先端のパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2021-05-06T13:26:51Z)
• Progressive Encoding for Neural Optimization [92.55503085245304]
  メッシュ転送におけるppe層の能力と,そのアドバンテージを,現代の表面マッピング技術と比較した。 最も重要な点は, パラメタライズフリーな手法であり, 様々な対象形状表現に適用可能であることである。
  論文  参考訳（メタデータ） (2021-04-19T08:22:55Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。