論文の概要: Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2406.04052v1
• Date: Thu, 6 Jun 2024 13:17:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:49:58.821691
• Title: Multivector Neurons: Better and Faster O(n)-Equivariant Clifford Graph Neural Networks
• Title（参考訳）: マルチベクトルニューロン:O(n)-同変クリフォードグラフニューラルネットワークの改良と高速化
• Authors: Cong Liu, David Ruhe, Patrick Forré,
• Abstract要約: 本研究では,クリフォード・マルチベクタに基づく新しいメッセージパッシンググラフニューラルネットワーク(GNN)を試作する。 我々はNボディデータセットの最先端エラーを0.0035にプッシュし、最近の手法よりも8%改善した。
• 参考スコア（独自算出の注目度）: 17.716680490388306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most current deep learning models equivariant to $O(n)$ or $SO(n)$ either consider mostly scalar information such as distances and angles or have a very high computational complexity. In this work, we test a few novel message passing graph neural networks (GNNs) based on Clifford multivectors, structured similarly to other prevalent equivariant models in geometric deep learning. Our approach leverages efficient invariant scalar features while simultaneously performing expressive learning on multivector representations, particularly through the use of the equivariant geometric product operator. By integrating these elements, our methods outperform established efficient baseline models on an N-Body simulation task and protein denoising task while maintaining a high efficiency. In particular, we push the state-of-the-art error on the N-body dataset to 0.0035 (averaged over 3 runs); an 8% improvement over recent methods. Our implementation is available on Github.
• Abstract（参考訳）: 現在のディープラーニングモデルの多くは$O(n)$または$SO(n)$に同値である。 本研究では,クリフォード・マルチベクターをベースとした新しいメッセージパッシンググラフニューラルネットワーク(GNN)を,幾何学的深層学習における他の同変モデルと同様に構築した。 提案手法は,特に等変幾何積演算子を用いて,多ベクトル表現の表現学習を同時に実施しながら,効率的な不変スカラー特徴を利用する。 これらの要素を統合することにより,N-Bodyシミュレーションタスクとタンパク質分解タスクにおいて,高い効率を維持しつつ,効率的なベースラインモデルを構築した。 特に、Nボディデータセットの最先端エラーを0.0035(平均3回以上)にプッシュします。 私たちの実装はGithubで公開しています。

関連論文リスト

• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• E(3)-Equivariant Mesh Neural Networks [16.158762988735322]
  三角形メッシュは3次元オブジェクトを表現するために広く使われている。 近年の多くの研究は、3Dメッシュ上での幾何学的深層学習の必要性に対処している。 E(n)-同変グラフニューラルネットワーク(EGNN)の方程式を拡張し、メッシュフェイス情報を組み込む。 結果として得られるアーキテクチャであるEMNN(Equivariant Mesh Neural Network)は、メッシュタスクにおいて、他のより複雑な同変手法よりも優れている。
  論文  参考訳（メタデータ） (2024-02-07T13:21:41Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• E(n) Equivariant Graph Neural Networks [86.75170631724548]
  本稿では,E(n)-Equivariant Graph Neural Networks (EGNNs) と呼ばれる回転,翻訳,反射,置換に等価なグラフニューラルネットワークを学習する新しいモデルを提案する。 既存の手法とは対照的に、私たちの仕事は計算的に高価な中間層における高階表現を必要としません。
  論文  参考訳（メタデータ） (2021-02-19T10:25:33Z)
• Train Like a (Var)Pro: Efficient Training of Neural Networks with Variable Projection [2.7561479348365734]
  ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。 本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
  論文  参考訳（メタデータ） (2020-07-26T16:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。