論文の概要: Harmonizing Covariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research: a Hybrid Cascaded Regression Framework

• arxiv url: http://arxiv.org/abs/2401.00744v6
• Date: Fri, 2 Feb 2024 08:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 18:51:35.347480
• Title: Harmonizing Covariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research: a Hybrid Cascaded Regression Framework
• Title（参考訳）: 結晶材料研究における深いハミルトン回帰の共分散と表現性:ハイブリッドカスケード回帰フレームワーク
• Authors: Shi Yin, Xinyang Pan, Xudong Zhu, Tianyu Gao, Haochong Zhang, Feng Wu, Lixin He
• Abstract要約: 本研究では,2段階の回帰段階からなるハイブリッドフレームワークを用いて,非線形共変深層学習について検討する。 6つの結晶性材料データベースの実験により,ハミルトン予測の最先端性能が確認された。
• 参考スコア（独自算出の注目度）: 37.9461362954868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning for Hamiltonian regression of quantum systems in material research necessitates satisfying the covariance laws, among which achieving SO(3)-equivariance without sacrificing the expressiveness capability of networks remains unsolved due to the restriction on non-linear mappings in assuring theoretical equivariance. To alleviate the covariance-expressiveness dilemma, we make an exploration on non-linear covariant deep learning with a hybrid framework consisting of two cascaded regression stages. The first stage, i.e., a theoretically-guaranteed covariant neural network modeling symmetry properties of 3D atom systems, predicts baseline Hamiltonians with theoretically covariant features extracted, assisting the second stage in learning covariance. Meanwhile, the second stage, powered by a non-linear 3D graph Transformer network we propose for structural modeling of atomic systems, refines the first stage's output as a fine-grained prediction of Hamiltonians with better expressiveness capability. The novel combination of a theoretically covariant yet inevitably less expressive model with a highly expressive non-linear network enables precise, generalizable predictions while maintaining robust covariance under coordinate transformations. We achieve state-of-the-art performance in Hamiltonian prediction, confirmed through experiments on six crystalline material databases.
• Abstract（参考訳）: 物質研究における量子系のハミルトン回帰の深層学習は、共分散法則を満たす必要があるが、そのうちの1つは、理論的同値性を保証するための非線形写像の制限により、ネットワークの表現性を犠牲にすることなくSO(3)-等分散を達成することである。 共分散表現性ジレンマを軽減するために,2つの回帰段階からなるハイブリッドフレームワークを用いて非線形共変深層学習を探索する。 第一段階、すなわち3次元原子系の対称性特性をモデル化する理論的に保証された共変ニューラルネットワークは、理論的に共変な特徴を抽出したベースラインハミルトニアンを予測する。 一方,第2段階は非線形3次元グラフトランスフォーマーネットワークを用いて,原子系の構造モデリングを提案し,表現性の向上を図ったハミルトンの詳細な予測として,第1段階の出力を洗練する。 理論的に共変だが、必然的に表現力の低い非線型ネットワークとの新しい組み合わせは、座標変換の下でロバスト共変性を維持しながら、正確で一般化可能な予測を可能にする。 6つの結晶性材料データベースの実験により,ハミルトン予測の最先端性能が確認された。

関連論文リスト

• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction [1.8982950873008362]
  本稿では,物理システムにディープラーニングを適用する上で重要な課題に対処するための理論的および方法論的枠組みを提案する。 物理学における共変理論に着想を得て、SO(3)-不変量とSO(3)-同変量の間の数学的関係を探求する。 本手法はハミルトン予測精度を最大40%向上させ, 占有軌道エネルギーなどの下流の物理量を最大76%向上させることを示す。
  論文  参考訳（メタデータ） (2024-05-09T12:34:45Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• An interpretable neural network-based non-proportional odds model for ordinal regression [3.0277213703725767]
  本研究では,直交回帰のための解釈可能なニューラルネットワークに基づく非局所奇数モデル(N$3$POM)を提案する。 N$3$POMは、正規回帰に対する従来のアプローチとはいくつかの点で異なる。
  論文  参考訳（メタデータ） (2023-03-31T06:40:27Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Adding machine learning within Hamiltonians: Renormalization group transformations, symmetry breaking and restoration [0.0]
  我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。 結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。 機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
  論文  参考訳（メタデータ） (2020-09-30T18:44:18Z)
• Phase diagram for two-layer ReLU neural networks at infinite-width limit [6.380166265263755]
  我々は、2層ReLUニューラルネットワークの位相図を無限幅極限で描画する。 位相図の3つのレギュレーション、すなわち線形レギュレーション、臨界レギュレーション、凝縮レギュレーションを同定する。 線形状態においては、NNトレーニングダイナミクスは指数的損失減衰を持つランダム特徴モデルとほぼ同様の線形である。 凝縮状態において、能動ニューロンがいくつかの異なる向きで凝縮されていることを示す実験を通して、我々は実験を行う。
  論文  参考訳（メタデータ） (2020-07-15T06:04:35Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。