論文の概要: Deconstructing equivariant representations in molecular systems

• arxiv url: http://arxiv.org/abs/2410.08131v1
• Date: Thu, 10 Oct 2024 17:15:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:05:45.040936
• Title: Deconstructing equivariant representations in molecular systems
• Title（参考訳）: 分子系における同変表現の分解
• Authors: Kin Long Kelvin Lee, Mikhail Galkin, Santiago Miret,
• Abstract要約: 本稿では,QM9データセット上での単純な同変グラフ畳み込みモデルを用いた実験について報告する。 我々の重要な発見は、スカラー予測タスクでは、多くの既約表現はトレーニング中に単純に無視されることである。 経験的に,未使用の球面高調波の除去がモデル性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 6.841858294458366
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent equivariant models have shown significant progress in not just chemical property prediction, but as surrogates for dynamical simulations of molecules and materials. Many of the top performing models in this category are built within the framework of tensor products, which preserves equivariance by restricting interactions and transformations to those that are allowed by symmetry selection rules. Despite being a core part of the modeling process, there has not yet been much attention into understanding what information persists in these equivariant representations, and their general behavior outside of benchmark metrics. In this work, we report on a set of experiments using a simple equivariant graph convolution model on the QM9 dataset, focusing on correlating quantitative performance with the resulting molecular graph embeddings. Our key finding is that, for a scalar prediction task, many of the irreducible representations are simply ignored during training -- specifically those pertaining to vector ($l=1$) and tensor quantities ($l=2$) -- an issue that does not necessarily make itself evident in the test metric. We empirically show that removing some unused orders of spherical harmonics improves model performance, correlating with improved latent space structure. We provide a number of recommendations for future experiments to try and improve efficiency and utilization of equivariant features based on these observations.
• Abstract（参考訳）: 最近の同変モデルでは、化学的性質の予測だけでなく、分子や物質の動的シミュレーションの代理として、大きな進歩が見られる。 このカテゴリーのトップパフォーマンスモデルの多くはテンソル積の枠組みの中に構築されており、これは相互作用や対称性選択規則によって許されるものへの変換を制限することで同値を保つ。 モデリングプロセスの中核部分であるにもかかわらず、これらの同変表現にどのような情報が持続するか、ベンチマークメトリクス以外の一般的な振る舞いを理解することにはまだ注意が向けられていない。 本稿では,QM9データセット上での単純な同変グラフ畳み込みモデルを用いた実験について報告する。 我々の重要な発見は、スカラー予測タスクにおいて、既約表現の多くは、単に訓練中に無視される(特にベクトル(l=1$)とテンソル量(l=2$)に関連するもの)。 実験により,未使用の球面高調波の除去によりモデル性能が向上し,遅延空間構造が改善したことを示す。 これらの観測に基づいて、同変特性の効率と利用を改善するために、今後の実験を推奨する。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
  実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。 我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
  論文  参考訳（メタデータ） (2024-10-02T05:14:28Z)
• Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
  我々は「緩和された同注入」という新しい概念を導入する。 我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。 対称性の破れの関連性は、様々な応用領域で議論される。
  論文  参考訳（メタデータ） (2023-12-14T15:06:48Z)
• Approximation-Generalization Trade-offs under (Approximate) Group Equivariance [3.0458514384586395]
  グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
  論文  参考訳（メタデータ） (2023-05-27T22:53:37Z)
• EqMotion: Equivariant Multi-agent Motion Prediction with Invariant Interaction Reasoning [83.11657818251447]
  不変相互作用推論を用いた効率的な同変運動予測モデルであるEqMotionを提案する。 提案モデルに対して,粒子動力学,分子動力学,人体骨格運動予測,歩行者軌道予測の4つの異なるシナリオで実験を行った。 提案手法は4つのタスクすべてに対して最先端の予測性能を実現し,24.0/30.1/8.6/9.2%改善した。
  論文  参考訳（メタデータ） (2023-03-20T05:23:46Z)
• Lorentz group equivariant autoencoders [6.858459233149096]
  Lorentz group autoencoder (LGAE) 正規直交ローレンツ群 $mathrmSO+(2,1)$ に対して自己エンコーダモデル同型を開発する。 我々はLHCのジェット機のアーキテクチャと実験結果を示し、いくつかの圧縮、再構成、異常検出の指標に基づいて、グラフと畳み込みニューラルネットワークのベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-12-14T17:19:46Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
  本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。 まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。 我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:35:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。