論文の概要: Harmonizing SO(3)-equivariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research
- arxiv url: http://arxiv.org/abs/2401.00744v7
- Date: Mon, 8 Apr 2024 07:51:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 01:36:21.631001
- Title: Harmonizing SO(3)-equivariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research
- Title（参考訳）: 結晶材料研究における深いハミルトン回帰のための調和SO(3)等分散と表現性
- Authors: Shi Yin, Xinyang Pan, Xudong Zhu, Tianyu Gao, Haochong Zhang, Feng Wu, Lixin He,
- Abstract要約: 本稿では,2段階の回帰フレームワークとして,ネットワーク機構の2つのカテゴリを相乗化するハイブリッド手法を提案する。
第1段階は、固有のSO(3)-同変特性を持つ群理論に基づくネットワーク機構に対応する。
第2のステージは、非線形表現性に高い能力を有する非線形3Dグラフ変換器ネットワークによって特徴づけられる。
- 参考スコア（独自算出の注目度）: 36.13416266854978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning for Hamiltonian regression of quantum systems in material research necessitates satisfying the covariance laws, among which achieving SO(3)-equivariance without sacrificing the non-linear expressive capability of networks remains unsolved. To navigate the harmonization between equivariance and expressiveness, we propose a hybrid method synergizing two distinct categories of network mechanisms as a two-stage cascaded regression framework. The first stage corresponds to group theory-based network mechanisms with inherent SO(3)-equivariant properties prior to the parameter learning process, while the second stage is characterized by a non-linear 3D graph Transformer network we propose featuring high capability on non-linear expressiveness. The novel combination lies that, the first stage predicts baseline Hamiltonians with abundant SO(3)-equivariant features extracted, assisting the second stage in empirical learning of equivariance; and in turn, the second stage refines the first stage's output as a fine-grained prediction of Hamiltonians using powerful non-linear neural mappings, compensating for the intrinsic weakness on non-linear expressiveness capability of mechanisms in the first stage. Our method enables precise, generalizable predictions while maintaining robust SO(3)-equivariance under rotational transformations, and achieves state-of-the-art performance in Hamiltonian prediction, confirmed through experiments on six crystalline material databases. Our research provides a new technical pathway for high-performance electronic structure calculations of atomic systems, offering powerful technological means for the simulation, design, and discovery of new materials.
- Abstract（参考訳）: 物質研究における量子系のハミルトン回帰の深層学習は、共分散法則を満たす必要があるが、ネットワークの非線形表現能力を犠牲にすることなくSO(3)-等分散を達成することは未解決のままである。
そこで本研究では,2段階の回帰フレームワークとして,ネットワーク機構の2つの異なるカテゴリを相乗化するハイブリッド手法を提案する。
第1段階は、パラメータ学習プロセスに先立って固有のSO(3)-同変特性を持つ群理論に基づくネットワーク機構に対応し、第2段階は非線形3Dグラフ変換器ネットワークによって特徴付けられる。
新たな組み合わせは、第1段階がSO(3)-等変量の豊富なベースラインハミルトニアンを予測し、第2段階が等価性の経験的学習において補助し、第2段階が第1段階の出力を強力な非線形ニューラルマッピングを用いてハミルトンの微細な予測として洗練し、第1段階のメカニズムの非線形表現能力に固有の弱点を補うことである。
本手法は, 回転変換下でのSO(3)-等分散性を維持しつつ, 高精度で一般化可能な予測が可能であり, 6つの結晶材料データベースの実験により, ハミルトン予測における最先端性能を実現する。
我々の研究は、原子系の高性能電子構造計算のための新しい技術経路を提供し、新しい物質のシミュレーション、設計、発見のための強力な技術手段を提供する。
関連論文リスト
- Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。
我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。
本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
論文 参考訳（メタデータ） (2024-07-19T15:32:15Z) - A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction [1.8982950873008362]
本稿では,物理システムにディープラーニングを適用する上で重要な課題に対処するための理論的および方法論的枠組みを提案する。
物理学における共変理論に着想を得て、SO(3)-不変量とSO(3)-同変量の間の数学的関係を探求する。
本手法はハミルトン予測精度を最大40%向上させ, 占有軌道エネルギーなどの下流の物理量を最大76%向上させることを示す。
論文 参考訳（メタデータ） (2024-05-09T12:34:45Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - An interpretable neural network-based non-proportional odds model for
ordinal regression [3.0277213703725767]
本研究では,直交回帰のための解釈可能なニューラルネットワークに基づく非局所奇数モデル(N$3$POM)を提案する。
N$3$POMは、正規回帰に対する従来のアプローチとはいくつかの点で異なる。
論文 参考訳（メタデータ） (2023-03-31T06:40:27Z) - Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear
Dynamics [49.41640137945938]
ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。
提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。
提案手法の有効性を,固有値推定と予測性能の観点から実証した。
論文 参考訳（メタデータ） (2020-12-11T08:34:26Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Adding machine learning within Hamiltonians: Renormalization group
transformations, symmetry breaking and restoration [0.0]
我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。
結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。
機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
論文 参考訳（メタデータ） (2020-09-30T18:44:18Z) - Phase diagram for two-layer ReLU neural networks at infinite-width limit [6.380166265263755]
我々は、2層ReLUニューラルネットワークの位相図を無限幅極限で描画する。
位相図の3つのレギュレーション、すなわち線形レギュレーション、臨界レギュレーション、凝縮レギュレーションを同定する。
線形状態においては、NNトレーニングダイナミクスは指数的損失減衰を持つランダム特徴モデルとほぼ同様の線形である。
凝縮状態において、能動ニューロンがいくつかの異なる向きで凝縮されていることを示す実験を通して、我々は実験を行う。
論文 参考訳（メタデータ） (2020-07-15T06:04:35Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。