論文の概要: Large Language-Geometry Model: When LLM meets Equivariance

• arxiv url: http://arxiv.org/abs/2502.11149v2
• Date: Wed, 19 Feb 2025 06:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:12.744419
• Title: Large Language-Geometry Model: When LLM meets Equivariance
• Title（参考訳）: 大規模言語幾何学モデル:LLMが等分散を満たすとき
• Authors: Zongzhao Li, Jiacheng Cen, Bing Su, Wenbing Huang, Tingyang Xu, Yu Rong, Deli Zhao,
• Abstract要約: 本稿では,3次元物理システムを表現するための新しいフレームワークであるEquiLLMを提案する。 EquiLLMは分子動力学シミュレーション,ヒトの動作シミュレーション,抗体設計など,従来の手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 53.8505081745406
• License:
• Abstract: Accurately predicting 3D structures and dynamics of physical systems is crucial in scientific applications. Existing approaches that rely on geometric Graph Neural Networks (GNNs) effectively enforce $\mathrm{E}(3)$-equivariance, but they often fall in leveraging extensive broader information. While direct application of Large Language Models (LLMs) can incorporate external knowledge, they lack the capability for spatial reasoning with guaranteed equivariance. In this paper, we propose EquiLLM, a novel framework for representing 3D physical systems that seamlessly integrates E(3)-equivariance with LLM capabilities. Specifically, EquiLLM comprises four key components: geometry-aware prompting, an equivariant encoder, an LLM, and an equivariant adaptor. Essentially, the LLM guided by the instructive prompt serves as a sophisticated invariant feature processor, while 3D directional information is exclusively handled by the equivariant encoder and adaptor modules. Experimental results demonstrate that EquiLLM delivers significant improvements over previous methods across molecular dynamics simulation, human motion simulation, and antibody design, highlighting its promising generalizability.
• Abstract（参考訳）: 物理系の3次元構造と力学を正確に予測することは科学応用において重要である。 幾何グラフニューラルネットワーク(GNN)に依存する既存のアプローチは、$\mathrm{E}(3)$-equivariance(英語版)を効果的に強制するが、より広範な情報を活用することに失敗することが多い。 LLM(Large Language Models)の直接適用は外部知識を組み込むことができるが、等値性を保証する空間推論能力は欠如している。 本稿では,LLM機能とE(3)-equivarianceをシームレスに統合した3次元物理系を表現する新しいフレームワークであるEquiLLMを提案する。 具体的には、EquiLLMは、幾何認識プロンプト、同変エンコーダ、LLM、同変アダプタの4つのキーコンポーネントから構成される。 基本的に、インストラクティブプロンプトによって導かれるLCMは洗練された不変機能プロセッサとして機能し、3次元方向情報は同変エンコーダとアダプタモジュールによってのみ扱われる。 実験により,EquiLLMは分子動力学シミュレーション,ヒトの運動シミュレーション,抗体設計など,従来の手法よりも大幅に改善され,期待できる一般化性を強調した。

関連論文リスト

• Learning local equivariant representations for quantum operators [7.377639942466163]
  本稿では,複数の量子演算子を予測するための新しいディープラーニングモデルSLEMを提案する。 SLEMは、計算効率を劇的に改善しながら最先端の精度を達成する。 SLEMの能力は多種多様な2次元および3次元材料にまたがって実証し,限られた訓練データでも高い精度を達成できることを示した。
  論文  参考訳（メタデータ） (2024-07-08T15:55:12Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Lorentz group equivariant autoencoders [6.858459233149096]
  Lorentz group autoencoder (LGAE) 正規直交ローレンツ群 $mathrmSO+(2,1)$ に対して自己エンコーダモデル同型を開発する。 我々はLHCのジェット機のアーキテクチャと実験結果を示し、いくつかの圧縮、再構成、異常検出の指標に基づいて、グラフと畳み込みニューラルネットワークのベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-12-14T17:19:46Z)
• Equivariant Deep Dynamical Model for Motion Prediction [0.0]
  深層生成モデリングは、データの最も単純化され圧縮された基礎的な記述を見つけるための動的モデリングの強力なアプローチである。 ほとんどの学習タスクは固有の対称性を持ち、すなわち入力変換は出力をそのままにするか、出力が同様の変換を行う。 本稿では, 入力空間の構造的表現を, 対称性の変換とともに変化するという意味で学習する動き予測のためのSO(3)同変深部力学モデル(EqDDM)を提案する。
  論文  参考訳（メタデータ） (2021-11-02T21:01:43Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Geometric and Physical Quantities improve E(3) Equivariant Message Passing [59.98327062664975]
  等変グラフネットワークを一般化する等変グラフニューラルネットワーク(SEGNN)を提案する。 このモデルは、ステアブルで構成され、メッセージと更新機能の両方に幾何学的および物理的情報を組み込むことができる。 計算物理学と化学におけるいくつかの課題において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-06T16:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。