論文の概要: SE(3)-Hyena Operator for Scalable Equivariant Learning

• arxiv url: http://arxiv.org/abs/2407.01049v2
• Date: Tue, 13 Aug 2024 15:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:04:55.178509
• Title: SE(3)-Hyena Operator for Scalable Equivariant Learning
• Title（参考訳）: スケーラブルな同変学習のためのSE(3)-Hyena演算子
• Authors: Artem Moskalev, Mangal Prakash, Rui Liao, Tommaso Mansi,
• Abstract要約: ヒエナ作用素に基づく同変長畳み込みモデルであるSE(3)-ヒエナを導入する。 我々のモデルは20kトークンの幾何学的文脈を同変変圧器のx3.5倍高速に処理する。
• 参考スコア（独自算出の注目度）: 5.354533854744212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling global geometric context while maintaining equivariance is crucial for accurate predictions in many fields such as biology, chemistry, or vision. Yet, this is challenging due to the computational demands of processing high-dimensional data at scale. Existing approaches such as equivariant self-attention or distance-based message passing, suffer from quadratic complexity with respect to sequence length, while localized methods sacrifice global information. Inspired by the recent success of state-space and long-convolutional models, in this work, we introduce SE(3)-Hyena operator, an equivariant long-convolutional model based on the Hyena operator. The SE(3)-Hyena captures global geometric context at sub-quadratic complexity while maintaining equivariance to rotations and translations. Evaluated on equivariant associative recall and n-body modeling, SE(3)-Hyena matches or outperforms equivariant self-attention while requiring significantly less memory and computational resources for long sequences. Our model processes the geometric context of 20k tokens x3.5 times faster than the equivariant transformer and allows x175 longer a context within the same memory budget.
• Abstract（参考訳）: 等分散を維持しながらグローバルな幾何学的文脈をモデル化することは、生物学、化学、視覚など多くの分野における正確な予測に不可欠である。 しかし、これは高次元データを大規模に処理する計算要求のため、難しい。 等価な自己アテンションや距離ベースのメッセージパッシングといった既存のアプローチは、シーケンス長に関して二次的な複雑さに悩まされ、ローカライズされた手法はグローバルな情報を犠牲にしている。 近年の状態空間および長期畳み込みモデルの成功に触発されて、ハイエナ作用素に基づく同変長畳み込みモデルであるSE(3)-ハイエナ作用素を導入する。 SE(3)-ヒエナは、回転と変換に等しくを維持しながら、大域的な幾何学的文脈を準四分法的な複雑さで捉えている。 等変的連想的リコールとn-体モデリングに基づいて評価され、SE(3)-Hyenaは、長いシーケンスに対してメモリと計算資源を著しく減らしながら、等変的自己アテンションにマッチまたは優れる。 我々のモデルは20kトークンの幾何学的コンテキストを同変変圧器のx3.5倍高速に処理し、x175が同じメモリ予算内でのコンテキストを長くすることができる。

関連論文リスト

• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Does equivariance matter at scale? [15.247352029530523]
  我々は、等変ネットワークと非等変ネットワークが、計算およびトレーニングサンプルでどのようにスケールするかを研究する。 まず、等分散によりデータ効率が向上するが、データ拡張による非同変モデルのトレーニングは、十分なエポックを考慮すれば、このギャップを埋めることができる。 第二に、計算によるスケーリングは、テストされた各計算予算において、同変モデルが非同変モデルよりも優れたパワー則に従う。
  論文  参考訳（メタデータ） (2024-10-30T16:36:59Z)
• Relaxed Equivariance via Multitask Learning [7.905957228045955]
  マルチタスク学習と等価性を近似するトレーニング手法であるREMULを紹介する。 制約のないモデルは、追加の単純な等分散損失を最小化することにより、近似対称性を学習できることが示される。 提案手法は, 等変ベースラインと比較して, 推論時の10倍, トレーニング時の2.5倍の速さで, 競争性能が向上する。
  論文  参考訳（メタデータ） (2024-10-23T13:50:27Z)
• Approximately Equivariant Neural Processes [47.14384085714576]
  実世界のデータをモデル化する場合、学習問題は必ずしも同変ではなく、概ね同変であることが多い。 これを達成するための現在のアプローチは、通常任意のアーキテクチャや対称性群に対して最初から適用することはできない。 我々は、既存の同変アーキテクチャを用いてこれを実現するための一般的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-06-19T12:17:14Z)
• Hyena Hierarchy: Towards Larger Convolutional Language Models [115.82857881546089]
  ハイエナは、暗黙的にパラメトリケートされた長い畳み込みとデータ制御ゲーティングをインターリーブすることによって構築された注意のための準四分法的なドロップイン置換である。 数千から数十万のトークン列のリコールおよび推論タスクにおいて、ハイエナは状態空間やその他の暗黙的かつ明示的なメソッドに依存する演算子よりも50ポイント以上精度を向上させる。
  論文  参考訳（メタデータ） (2023-02-21T18:29:25Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Design equivariant neural networks for 3D point cloud [0.0]
  この研究は、既存の3Dポイントクラウドに対するニューラルネットワークの一般化と堅牢性の向上を目指している。 ポイントクラウドの同変モデルを設計する際の大きな課題は、モデルのパフォーマンスと複雑さをトレードオフする方法である。 提案手法は汎用的であり、群同変ニューラルネットワークに対する基本的なアプローチを形成する。
  論文  参考訳（メタデータ） (2022-05-02T02:57:13Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders [16.27499951949733]
  生成写像が「強可逆(strongly invertible)」であれば、推論モデルはそれほど複雑ではないことを示す。 重要なのは、生成モデルが階層的に可逆である必要はないということです。 低次元多様体上にデータを置くと、深層生成モデルの学習が難しくなるという経験的知恵を理論的に支持する。
  論文  参考訳（メタデータ） (2021-07-09T19:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。