論文の概要: A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction
- arxiv url: http://arxiv.org/abs/2405.05722v3
- Date: Tue, 18 Jun 2024 08:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 01:35:12.931906
- Title: A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction
- Title（参考訳）: SO(3)同変非線形表現学習の枠組みと電子構造ハミルトニアン予測への応用
- Authors: Shi Yin, Xinyang Pan, Fengyan Wang, Feng Wu, Lixin He,
- Abstract要約: 本稿では,物理システムにディープラーニングを適用する上で重要な課題に対処する理論的および方法論的枠組みを提案する。
物理学における共変理論に着想を得て、SO(3)-不変量とSO(3)-同変量とそれらの表現の間の数学的関係を探求する。
我々は、最先端の予測精度に劇的なブレークスルーを示し、ハミルトン人の予測は最大40%、下流の物理量の予測は最大76%改善した。
- 参考スコア（独自算出の注目度）: 29.49980632339327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present both a theoretical and a methodological framework that addresses a critical challenge in applying deep learning to physical systems: the reconciliation of non-linear expressiveness with SO(3)-equivariance in predictions of SO(3)-equivariant quantities. Inspired by covariant theory in physics, we address this problem by exploring the mathematical relationships between SO(3)-invariant and SO(3)-equivariant quantities and their representations. We first construct theoretical SO(3)-invariant quantities derived from the SO(3)-equivariant regression targets, and use these invariant quantities as supervisory labels to guide the learning of high-quality SO(3)-invariant features. Given that SO(3)-invariance is preserved under non-linear operations, the encoding process for invariant features can extensively utilize non-linear mappings, thereby fully capturing the non-linear patterns inherent in physical systems. Building on this foundation, we propose a gradient-based mechanism to induce SO(3)-equivariant encodings of various degrees from the learned SO(3)-invariant features. This mechanism can incorporate non-linear expressive capabilities into SO(3)-equivariant representations, while theoretically preserving their equivariant properties as we prove. We apply our theory and method to the electronic-structure Hamiltonian prediction tasks, experimental results on eight benchmark databases covering multiple types of elements and challenging scenarios show dramatic breakthroughs on the state-of-the-art prediction accuracy, with improvements of up to 40% in predicting Hamiltonians and up to 76% in predicting downstream physical quantities such as occupied orbital energy. Our approach goes beyond handling physical systems and offers a promising general solution to the critical dilemma between equivariance and non-linear expressiveness for the deep learning paradigm.
- Abstract（参考訳）: 物理系に深層学習を適用する上で重要な課題である,SO(3)-同変量の予測における非線形表現性とSO(3)-同変量の整合性に対処する理論的および方法論的枠組みを提案する。
物理学における共変理論に着想を得て、SO(3)-不変量とSO(3)-同変量とそれらの表現の間の数学的関係を探求することによってこの問題に対処する。
まず、SO(3)-同変回帰目標から導かれる理論SO(3)-不変量を構築し、これらの不変量を用いて、高品質なSO(3)-不変特徴の学習を指導する。
非線型演算の下でSO(3)-不変性が保存されることを考えると、不変特徴の符号化プロセスは非線型写像を広範囲に利用し、物理的システムに固有の非線形パターンを完全に捉えることができる。
そこで本研究では, 学習したSO(3)不変特徴量から, 様々な次数のSO(3)同変符号化を誘導する勾配に基づく機構を提案する。
このメカニズムは、非線型表現能力をSO(3)-同変表現に組み込むことができ、理論上は我々が証明した同変特性を保っている。
この理論と手法を電子構造ハミルトニアンの予測タスクに適用し、複数の種類の元素と挑戦シナリオを網羅した8つのベンチマークデータベースの実験結果から、最先端の予測精度において劇的なブレークスルーを示し、ハミルトンの予測では最大40%、占有軌道エネルギーなどの下流物理量の予測では最大76%改善した。
我々のアプローチは、物理システムを扱うことを超えて、ディープラーニングパラダイムにおける等価性と非線形表現性の間の批判的ジレンマに対して、有望な一般解を提供する。
関連論文リスト
- Efficient and Scalable Density Functional Theory Hamiltonian Prediction through Adaptive Sparsity [11.415146682472127]
ハミルトン予測に適応空間を組み込んだ,効率的でスケーラブルな同変ネットワークを提案する。
本研究では, 安定収束を確保し, 最大70%のスパシティレートで高い性能を実現する3相スパシティスケジューリング器を開発した。
ハミルトン予想以外にも、提案されたスペーシフィケーション手法は、他のSE(3)同変ネットワークの効率性とスケーラビリティを向上させる重要な可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-03T09:04:47Z) - Harmonizing SO(3)-Equivariance with Neural Expressiveness: a Hybrid Deep Learning Framework Oriented to the Prediction of Electronic Structure Hamiltonian [36.13416266854978]
HarmoSEは、ディープラーニングのための2段階のケースケード回帰フレームワークである。
第1段階は、豊富なSO(3)-同変の特徴を抽出したハミルトニアンを予測する。
第2段階はハミルトニアンの詳細な予測として第1段階の出力を洗練させる。
論文 参考訳（メタデータ） (2024-01-01T12:57:15Z) - Stress representations for tensor basis neural networks: alternative
formulations to Finger-Rivlin-Ericksen [0.0]
有限条件下での超弾性変形材料モデリングのための様々なテンソルニューラルネットワークモデルについて検討する。
電位ベースおよび係数ベースのアプローチと異なるキャリブレーション手法を比較した。
9つの変種は、3つの異なる材料に対してノイズとノイズの無いデータセットの両方に対して試験される。
論文 参考訳（メタデータ） (2023-08-21T23:28:26Z) - Data-driven Nonlinear Parametric Model Order Reduction Framework using
Deep Hierarchical Variational Autoencoder [5.521324490427243]
深層ニューラルネットワークを用いたデータ駆動パラメトリックモデルオーダー削減(MOR)手法を提案する。
LSH-VAEは、非線形力学系のパラメトリックに対して、かなりの数の自由度で非線形MORを実行することができる。
論文 参考訳（メタデータ） (2023-07-10T02:44:53Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - A deep learning driven pseudospectral PCE based FFT homogenization
algorithm for complex microstructures [68.8204255655161]
提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。
提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
論文 参考訳（メタデータ） (2021-10-26T07:02:14Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear
Dynamics [49.41640137945938]
ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。
提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。
提案手法の有効性を,固有値推定と予測性能の観点から実証した。
論文 参考訳（メタデータ） (2020-12-11T08:34:26Z) - Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes [12.44342023476206]
本稿では,これらのモデルの予測精度を3段階で向上させる手法を提案する。
実験では、このレシピは、部分的およびノイズの多い事前知識を改良されたモデル適合に効果的に翻訳することを示した。
論文 参考訳（メタデータ） (2020-06-17T14:47:06Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。