論文の概要: Harmonizing Covariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research: a Hybrid Cascaded Regression Framework

• arxiv url: http://arxiv.org/abs/2401.00744v2
• Date: Tue, 2 Jan 2024 08:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 15:55:12.230565
• Title: Harmonizing Covariance and Expressiveness for Deep Hamiltonian Regression in Crystalline Material Research: a Hybrid Cascaded Regression Framework
• Title（参考訳）: 結晶材料研究における深いハミルトン回帰の共分散と表現性:ハイブリッドカスケード回帰フレームワーク
• Authors: Shi Yin, Xudong Zhu, Tianyu Gao, Haochong Zhang, Feng Wu, Lixin He
• Abstract要約: 本稿では,2段階の回帰段階を持つハイブリッドフレームワークを提案する。 第1段階は理論的に保証された3次元原子系の対称性特性をモデル化する共変ニューラルネットワークであり、理論的に共変特性をもたらす。 第2段階は非線形3Dグラフトランスフォーマーネットワークで駆動され、ハミルトンの微細な予測として第1段階の出力を洗練する。
• 参考スコア（独自算出の注目度）: 40.20832637667013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning for Hamiltonian regression of quantum systems in material research necessitates satisfying the covariance laws, among which achieving SO(3)-equivariance without sacrificing the expressiveness of networks remains an elusive challenge due to the restriction to non-linear mappings on guaranteeing theoretical equivariance. To alleviate the covariance-expressiveness dilemma, we propose a hybrid framework with two cascaded regression stages. The first stage, with a theoretically-guaranteed covariant neural network modeling symmetry properties of 3D atom systems, yields theoretically covariant features and baseline Hamiltonian predictions, assisting the second stage in learning covariance. Meanwhile, the second stage, powered by a non-linear 3D graph Transformer network we propose for structural modeling of 3D atomic systems, refines the first stage's output as a fine-grained prediction of Hamiltonians with better expressiveness capability. The combination of a theoretically covariant yet inevitably less expressive model with a highly expressive non-linear network enables precise, generalizable predictions while maintaining robust covariance under coordinate transformations. Our method achieves state-of-the-art performance in Hamiltonian prediction for electronic structure calculations, confirmed through experiments on five crystalline material databases.
• Abstract（参考訳）: 材料研究における量子システムのハミルトニアン回帰の深層学習は共分散則を満たす必要があり、その中でネットワークの表現性を犠牲にすることなくso(3)等価性を達成することは、理論的等分散の保証に関する非線形写像の制限のため、難解な課題である。 共分散表現性ジレンマを緩和するために,2つの逐次回帰段階を持つハイブリッドフレームワークを提案する。 第1段階は、3次元原子系の対称性をモデル化する理論的にguaranteed covariant neural networkで、理論的に共変特徴とベースラインハミルトン予測を導き、学習共変性の第2段階を支援する。 一方, 非線形3次元グラフ変換器を用いた第2段階では, 3次元原子系の構造モデリングを提案し, 表現性に優れたハミルトンの詳細な予測として第1段階の出力を洗練する。 理論上は共変だが表現力の低いモデルと高度に表現力のある非線形ネットワークの組み合わせは、座標変換の下で堅牢な共変を維持しつつ、正確で一般化可能な予測を可能にする。 本手法は,5つの結晶材料データベースの実験により確認された電子構造計算のハミルトン予測における最先端性能を実現する。

関連論文リスト

• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• A Framework of SO(3)-equivariant Non-linear Representation Learning and its Application to Electronic-Structure Hamiltonian Prediction [1.8982950873008362]
  本稿では,物理システムにディープラーニングを適用する上で重要な課題に対処するための理論的および方法論的枠組みを提案する。 物理学における共変理論に着想を得て、SO(3)-不変量とSO(3)-同変量の間の数学的関係を探求する。 本手法はハミルトン予測精度を最大40%向上させ, 占有軌道エネルギーなどの下流の物理量を最大76%向上させることを示す。
  論文  参考訳（メタデータ） (2024-05-09T12:34:45Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• An interpretable neural network-based non-proportional odds model for ordinal regression [3.0277213703725767]
  本研究では,直交回帰のための解釈可能なニューラルネットワークに基づく非局所奇数モデル(N$3$POM)を提案する。 N$3$POMは、正規回帰に対する従来のアプローチとはいくつかの点で異なる。
  論文  参考訳（メタデータ） (2023-03-31T06:40:27Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Adding machine learning within Hamiltonians: Renormalization group transformations, symmetry breaking and restoration [0.0]
  我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。 結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。 機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
  論文  参考訳（メタデータ） (2020-09-30T18:44:18Z)
• Phase diagram for two-layer ReLU neural networks at infinite-width limit [6.380166265263755]
  我々は、2層ReLUニューラルネットワークの位相図を無限幅極限で描画する。 位相図の3つのレギュレーション、すなわち線形レギュレーション、臨界レギュレーション、凝縮レギュレーションを同定する。 線形状態においては、NNトレーニングダイナミクスは指数的損失減衰を持つランダム特徴モデルとほぼ同様の線形である。 凝縮状態において、能動ニューロンがいくつかの異なる向きで凝縮されていることを示す実験を通して、我々は実験を行う。
  論文  参考訳（メタデータ） (2020-07-15T06:04:35Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。