論文の概要: HamFormer: A Hamiltonian Flow-based SE(3)-Transformer for Conformation Optimization

• arxiv url: http://arxiv.org/abs/2611.00875v1
• Date: Sat, 31 Oct 2026 12:20:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:03:54.076554
• Title: HamFormer: A Hamiltonian Flow-based SE(3)-Transformer for Conformation Optimization
• Title（参考訳）: HamFormer: コンフォーメーション最適化のためのハミルトンフローベースSE(3)変換器
• Abstract要約: 本稿では,HamFormer と呼ばれる改良されたSE(3)-Transformer アーキテクチャを提案し,ハミルトン流のレンズを通してSE(3)-Transformer の設計を再検討する。 HamFormerは、古典的なSE(3)-Transformerに対して強力で物理的に解釈可能なサロゲートを提供する。
• 参考スコア（独自算出の注目度）: 33.68349075759311
• License:
• Abstract: The Transformer architecture plays a central role in modern deep learning, and its SE(3)-equivariant variants have been widely applied to molecular conformation modeling and optimization. Given its importance, many methods attempt to interpret and improve the Transformer through the lens of dynamics. However, they mainly focus on a single attention head rather than the full Transformer architecture and seldom consider SE(3)-equivariance in their proposed models. In this study, we propose an improved SE(3)-Transformer architecture, called HamFormer, which revisits the design of SE(3)-Transformer through the lens of Hamiltonian flow. In particular, we define a parametrized Hamiltonian flow in the phase space of position and velocity, corresponding to optimizing an energy functional that combines an optimal transport-based potential with a damped momentum. The Lie-Trotter splitting framework of the Hamiltonian flow leads to the proposed HamFormer architecture, whose feedforward computation achieves the optimization step of the proposed energy functional. Furthermore, we combine HamFormer with Equivariant Graph Neural Network (EGNN), build a new model for molecular conformation optimization. Extensive experiments on molecular ground-state conformation prediction show that HamFormer provides a strong and physically interpretable surrogate for classic SE(3)-Transformer and generally outperforms state-of-the-art competitors.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは現代のディープラーニングにおいて中心的な役割を担い、SE(3)-同変変種は分子配座モデリングや最適化に広く応用されている。 その重要性から、多くの手法がダイナミクスのレンズを通してトランスフォーマーを解釈し改善しようと試みている。 しかし、それらはフルトランスフォーマーアーキテクチャではなく、単一のアテンションヘッドに重点を置いており、提案したモデルではSE(3)-等価性はめったに考慮しない。 本研究では,HamFormerと呼ばれる改良されたSE(3)-Transformerアーキテクチャを提案し,ハミルトン流のレンズを通してSE(3)-Transformerの設計を再検討する。 特に、最適輸送ベースポテンシャルと減衰運動量を組み合わせたエネルギー汎関数の最適化に対応して、位置と速度の位相空間におけるパラメータ化されたハミルトン流を定義する。 ハミルトン流のLie-Trotter分割フレームワークは提案されたHamFormerアーキテクチャに導かれ、フィードフォワード計算は提案されたエネルギー汎関数の最適化ステップを達成する。 さらに,HamFormerとEquivariant Graph Neural Network (EGNN)を組み合わせることで,分子配座最適化のための新しいモデルを構築する。 分子基底状態整合予測に関する広範囲な実験により、ハムホルマーは古典的なSE(3)-トランスフォーマーに対して強く物理的に解釈可能なサロゲートを提供し、一般に最先端の競合よりも優れていることが示された。

関連論文リスト

• YuriiFormer: A Suite of Nesterov-Accelerated Transformers [62.40952219538543]
  本稿では,トークン埋め込みに作用する最適化アルゴリズムの繰り返しとして,トランスフォーマー層を解釈する変分フレームワークを提案する。 この観点では、自己注意は相互作用エネルギーの勾配ステップを実装し、層はポテンシャルエネルギーの勾配更新に対応する。 標準のGPT型変圧器は、この2つのエネルギーの間でLie-Trotterスプリッティングによって実装された複合目的物のバニラ勾配降下として出現する。
  論文  参考訳（メタデータ） (2026-01-30T18:06:21Z)
• Equilibrium Matching: Generative Modeling with Implicit Energy-Based Models [52.74448905289362]
  EqMは、平衡力学の観点から構築された生成モデリングフレームワークである。 時間条件の速度を統一された平衡景観に置き換えることで、EqMは流れとエネルギーベースのモデルの間により緊密な橋渡しを提供する。
  論文  参考訳（メタデータ） (2025-10-02T17:59:06Z)
• Efficient Design of Compliant Mechanisms Using Multi-Objective Optimization [50.24983453990065]
  そこで本研究では,大きな角状脳卒中を許容できる適合型クロスヒンジ機構の合成について述べる。 キネトスタティックな性能測定に基づいて,多目的最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-04-23T06:29:10Z)
• Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning [30.781578037476347]
  高度にフレキシブルな非自律型ニューラル常微分方程式(ODE)を用いたトランスフォーマーアーキテクチャのモデリング手法を提案する。 提案モデルでは,ニューラルネットワークによる注目度とフィードフォワードブロックの重みをパラメータ化し,これらの重みを連続層インデックスの関数として表現する。 我々のニューラルODE変換器は、さまざまな構成やデータセットにわたるバニラ変換器に匹敵するパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-03-03T09:12:14Z)
• Hyper-SET: Designing Transformers via Hyperspherical Energy Minimization [32.04194224236952]
  我々は超球面上での最大推定値としてトークン力学を定式化する。 我々は,バニラ変圧器の逐次的な代替手段であるtextitHyper-Spherical Energy Transformer (Hyper-SET) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:11Z)
• OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
  制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。 最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2025-01-30T22:52:40Z)
• Molecule Design by Latent Prompt Transformer [76.2112075557233]
  本研究は、分子設計の課題を条件付き生成モデリングタスクとしてフレーミングすることによって検討する。 本研究では,(1)学習可能な事前分布を持つ潜伏ベクトル,(2)プロンプトとして潜伏ベクトルを用いる因果トランスフォーマーに基づく分子生成モデル,(3)潜在プロンプトを用いた分子の目標特性および/または制約値を予測する特性予測モデルからなる新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:33:23Z)
• Harmonizing SO(3)-Equivariance with Neural Expressiveness: a Hybrid Deep Learning Framework Oriented to the Prediction of Electronic Structure Hamiltonian [36.13416266854978]
  HarmoSEは、ディープラーニングのための2段階のケースケード回帰フレームワークである。 第1段階は、豊富なSO(3)-同変の特徴を抽出したハミルトニアンを予測する。 第2段階はハミルトニアンの詳細な予測として第1段階の出力を洗練させる。
  論文  参考訳（メタデータ） (2024-01-01T12:57:15Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。