論文の概要: Magnitude-Modulated Equivariant Adapter for Parameter-Efficient Fine-Tuning of Equivariant Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2511.06696v1
• Date: Mon, 10 Nov 2025 04:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.074769
• Title: Magnitude-Modulated Equivariant Adapter for Parameter-Efficient Fine-Tuning of Equivariant Graph Neural Networks
• Title（参考訳）: 等変グラフニューラルネットワークのパラメータ効率向上のための等変適応器
• Authors: Dian Jin, Yancheng Yuan, Xiaoming Tao,
• Abstract要約: MMEA(Magnitude-Modulated Equivariant Adapter) 本稿では,軽量なスカラーゲーティングを用いて,各次数および多重度に基づいて特徴量の変調を行う新しい等変微調整法を提案する。 その結果、多くの実践シナリオにおいて、チャネルの大きさの変調は、対称性を損なうことなく、新しい化学環境に同変モデルを適用するのに十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 17.452647514694004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained equivariant graph neural networks based on spherical harmonics offer efficient and accurate alternatives to computationally expensive ab-initio methods, yet adapting them to new tasks and chemical environments still requires fine-tuning. Conventional parameter-efficient fine-tuning (PEFT) techniques, such as Adapters and LoRA, typically break symmetry, making them incompatible with those equivariant architectures. ELoRA, recently proposed, is the first equivariant PEFT method. It achieves improved parameter efficiency and performance on many benchmarks. However, the relatively high degrees of freedom it retains within each tensor order can still perturb pretrained feature distributions and ultimately degrade performance. To address this, we present Magnitude-Modulated Equivariant Adapter (MMEA), a novel equivariant fine-tuning method which employs lightweight scalar gating to modulate feature magnitudes on a per-order and per-multiplicity basis. We demonstrate that MMEA preserves strict equivariance and, across multiple benchmarks, consistently improves energy and force predictions to state-of-the-art levels while training fewer parameters than competing approaches. These results suggest that, in many practical scenarios, modulating channel magnitudes is sufficient to adapt equivariant models to new chemical environments without breaking symmetry, pointing toward a new paradigm for equivariant PEFT design.
• Abstract（参考訳）: 球面調和に基づく事前訓練された同変グラフニューラルネットワークは、計算コストの高いab-initio法に代わる効率的で正確な代替手段を提供するが、新しいタスクや化学環境に適応するには微調整が必要である。 AdaptersやLoRAのような従来のパラメータ効率の良い微細チューニング(PEFT)技術は一般的に対称性を破り、それらの同変アーキテクチャと互換性がない。 ELoRAは、最近提案された、最初の同変PEFT法である。 多くのベンチマークでパラメータ効率と性能の向上を実現している。 しかし、テンソルオーダーごとに保持される比較的高い自由度は、事前訓練された特徴分布を摂動させ、最終的には性能を低下させる。 これを解決するために, 軽量スカラーゲーティングを用いて, 次数および乗法ごとに特徴量の変調を行う新しい等変微調整法であるMagnitude-Modulated Equivariant Adapter (MMEA)を提案する。 MMEAは厳密な等価性を保ち、複数のベンチマークで常にエネルギーを改良し、最先端レベルの予測を強制する一方で、競合するアプローチよりも少ないパラメータを訓練することを示した。 これらの結果は、多くの実践シナリオにおいて、チャネルの大きさを変調することは、同変PEFT設計の新しいパラダイムを指して、対称性を破ることなく、新しい化学環境に同変モデルを適用するのに十分であることを示している。

関連論文リスト

• Learning (Approximately) Equivariant Networks via Constrained Optimization [25.51476313302483]
  等価ニューラルネットワークは、そのアーキテクチャを通して対称性を尊重するように設計されている。 実世界のデータは、ノイズ、構造的変動、測定バイアス、その他の対称性を破る効果のために、しばしば完全対称性から逸脱する。 適応制約等分散(ACE)は、柔軟で非等価なモデルから始まる制約付き最適化手法である。
  論文  参考訳（メタデータ） (2025-05-19T18:08:09Z)
• A Materials Foundation Model via Hybrid Invariant-Equivariant Architectures [53.273077346444886]
  機械学習の原子間ポテンシャル(MLIP)は材料のエネルギー、力、ストレスを予測する。 MLIPにおける重要な設計選択は、不変アーキテクチャと同変アーキテクチャのトレードオフである。 HIENetは、不変層と同変層の両方を統合した、ハイブリッド不変・同変物質間ポテンシャルモデルである。
  論文  参考訳（メタデータ） (2025-02-25T18:01:05Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning [41.19870454097444]
  本稿では,ネットワークの重み付けを物理的に組み合わせてモデル化する手法を提案する。 熱拡散、波動伝播、ポアソンの定常方程式の3つの基礎方程式がそれぞれ固有のモデリング特性に寄与する。 MoPPAはPEFTの精度を最大2.1%向上させる。
  論文  参考訳（メタデータ） (2024-12-03T19:00:34Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。