論文の概要: Geometric Hyena Networks for Large-scale Equivariant Learning

• arxiv url: http://arxiv.org/abs/2505.22560v1
• Date: Wed, 28 May 2025 16:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.73773
• Title: Geometric Hyena Networks for Large-scale Equivariant Learning
• Title（参考訳）: 大規模同変学習のための幾何学的ハイエナネットワーク
• Authors: Artem Moskalev, Mangal Prakash, Junjie Xu, Tianyu Cui, Rui Liao, Tommaso Mansi,
• Abstract要約: 幾何学系の最初の同変長畳み込みモデルである幾何ハイエナを導入する。 我々のモデルは、同変変圧器より20倍高速な30kトークンの幾何学的コンテキストを処理する。
• 参考スコア（独自算出の注目度）: 7.878315628263448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Processing global geometric context while preserving equivariance is crucial when modeling biological, chemical, and physical systems. Yet, this is challenging due to the computational demands of equivariance and global context at scale. Standard methods such as equivariant self-attention suffer from quadratic complexity, while local methods such as distance-based message passing sacrifice global information. Inspired by the recent success of state-space and long-convolutional models, we introduce Geometric Hyena, the first equivariant long-convolutional model for geometric systems. Geometric Hyena captures global geometric context at sub-quadratic complexity while maintaining equivariance to rotations and translations. Evaluated on all-atom property prediction of large RNA molecules and full protein molecular dynamics, Geometric Hyena outperforms existing equivariant models while requiring significantly less memory and compute that equivariant self-attention. Notably, our model processes the geometric context of 30k tokens 20x faster than the equivariant transformer and allows 72x longer context within the same budget.
• Abstract（参考訳）: 生物学的、化学的、物理的システムをモデル化する際には、等分性を維持しながらグローバルな幾何学的文脈を処理することが不可欠である。 しかし、これは、等式と規模でのグローバルコンテキストの計算要求のため、難しい。 等変自己注意のような標準的手法は2次複雑さに悩まされ、距離ベースのメッセージパッシングのような局所的手法は世界的な情報を犠牲にしている。 状態空間と長い畳み込みモデルの成功に触発されて、幾何学系の最初の同変長畳み込みモデルである幾何ヒエナを導入した。 幾何学的ハイエナ(Geometric Hyena)は、回転と変換に同値を維持しながら、大域的な幾何学的文脈を準四分法的な複雑さで捉えている。 大きなRNA分子とフルタンパク質分子動力学の全ての原子特性予測に基づいて評価され、Geometric Hyenaは既存の同変モデルより優れ、メモリを著しく少なくし、同変自己認識を計算する。 特に、同変変圧器より20倍早く30kトークンの幾何学的コンテキストを処理し、同じ予算内で72倍のコンテキストを実現する。

関連論文リスト

• SE(3)-Hyena Operator for Scalable Equivariant Learning [5.354533854744212]
  ヒエナ作用素に基づく同変長畳み込みモデルであるSE(3)-ヒエナを導入する。 我々のモデルは20kトークンの幾何学的文脈を同変変圧器のx3.5倍高速に処理する。
  論文  参考訳（メタデータ） (2024-07-01T07:56:48Z)
• Approximately Equivariant Neural Processes [47.14384085714576]
  実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。