論文の概要: Latent Diffusion Pretraining for Crystal Property Prediction

• arxiv url: http://arxiv.org/abs/2606.00776v1
• Date: Sat, 30 May 2026 15:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.770578
• Title: Latent Diffusion Pretraining for Crystal Property Prediction
• Title（参考訳）: 液晶特性予測のための潜時拡散前処理
• Abstract要約: 我々は,データ不足を軽減するために,新しい遅延拡散に基づく事前学習フレームワークCrysLDNetを導入する。 提案手法は,変分オートエンコーダ(VAE)と事前学習時の拡散モデルを統合する。 プロパティ予測のための一般的なDFTデータセットの実験では、CrysLDNetは、スクラッチと事前訓練されたベースラインの両方で大幅にパフォーマンスが向上している。
• 参考スコア（独自算出の注目度）: 22.088453611409182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fast and accurate prediction of crystal properties is a central challenge in new materials design. Graph neural networks and Transformer-based models have emerged as powerful tools for this task due to their ability to encode the local structural environment of atoms within a crystal. However, these models are data-hungry, and in practice, labeled data for crystal properties are scarce. Pretraining-finetuning strategies, particularly those based on diffusion models, have shown promise in addressing these limitations. In this work, we introduce a novel latent diffusion based pretraining framework, CrysLDNet, designed to mitigate data scarcity. Our approach integrates a Variational Autoencoder (VAE) with a diffusion model during the pretraining stage. The VAE encoder maps 3D crystal structures into a smooth latent space within which the diffusion process is applied. This latent diffusion pretraining enables the graph encoder to effectively capture structural and chemical semantics from large-scale unlabeled data, which can then be finetuned for specific property prediction tasks. Comprehensive experiments on popular DFT datasets for property prediction reveal that CrysLDNet significantly outperforms both training-from-scratch and pretrained baselines, with improvements of 4.26% and 4.90% on the JARVIS and MP datasets, respectively. Additionally, the learned representations remain robust in sparse-data conditions and are expressive enough to correct DFT errors when finetuned with limited experimental data. Code is available at: https://github.com/shrimonmuke0202/CrysLDNet.git.
• Abstract（参考訳）: 結晶特性の高速かつ正確な予測は、新しい材料設計における中心的な課題である。 グラフニューラルネットワークとトランスフォーマーベースのモデルは、結晶内の原子の局所的な構造環境を符号化する能力のために、このタスクのための強力なツールとして登場した。 しかし、これらのモデルはデータ・ハングリーであり、実際には結晶特性のラベル付きデータは少ない。 プレトレーニング・ファインタニング戦略、特に拡散モデルに基づく戦略は、これらの制限に対処する上で有望であることを示している。 本研究では,データ不足を軽減するために,新しい遅延拡散に基づく事前学習フレームワークCrysLDNetを提案する。 提案手法は,変分オートエンコーダ(VAE)と事前学習時の拡散モデルを統合する。 VAEエンコーダは、3D結晶構造を拡散過程が適用される滑らかな潜在空間にマッピングする。 この遅延拡散事前訓練により、グラフエンコーダは大規模未ラベルデータから構造的および化学的セマンティクスを効果的にキャプチャし、特定の特性予測タスクのために微調整することができる。 プロパティ予測のための一般的なDFTデータセットに関する総合的な実験により、CrysLDNetは、それぞれJARVISデータセットとMPデータセットの4.26%と4.90%の改善により、スクラッチと事前トレーニングベースラインの両方で大幅にパフォーマンスが向上していることが明らかになった。 さらに、学習された表現はスパースデータ条件で頑健であり、限られた実験データで微調整された場合、DFTエラーを修正するのに十分な表現である。 コードはhttps://github.com/shrimonmuke0202/CrysLDNet.gitで入手できる。

関連論文リスト

• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice [109.9635246405237]
  データ品質に関する実験結果が、ハイパーパラメータのトレーニングに微調整を加えることで、反転できることを示す。 評価プロトコルに簡単なパッチを導入し、プロキシモデルのトレーニングに学習率を削減した。 実験により,データキュレーションの4つの重要な次元をカバーする23種類のデータレシピに対して,このアプローチを検証した。
  論文  参考訳（メタデータ） (2025-12-30T23:02:44Z)
• FoilDiff: A Hybrid Transformer Backbone for Diffusion-based Modelling of 2D Airfoil Flow Fields [1.5749416770494706]
  FoilDiffは、ハイブリッドバックボーンデノナイジングネットワークを備えた拡散ベースのサロゲートモデルである。 既存の拡散モデルよりも正確な予測とより良い校正された予測の不確実性を提供することができる。
  論文  参考訳（メタデータ） (2025-10-05T19:10:38Z)
• Beyond Structure: Invariant Crystal Property Prediction with Pseudo-Particle Ray Diffraction [23.89478649565297]
  結晶特性予測は、従来の密度汎関数理論を用いて、大きな多体系に対して正確に解くことを計算的に禁止している。 グラフ表現の他に、独自の相互空間回折を利用するRDNetを導入する。 Materials Project、JARVIS-DFT、MatBenchで大規模な実験を行い、提案モデルが最先端の性能を達成することを実証した。
  論文  参考訳（メタデータ） (2025-09-26T02:30:23Z)
• Enhancing material behavior discovery using embedding-oriented Physically-Guided Neural Networks with Internal Variables [0.0]
  内部変数を持つ物理的ガイド付きニューラルネットワークは、トレーニングや内部状態関係の解明に可観測データのみを使用するSciMLツールである。 それらの可能性にもかかわらず、これらのモデルは、細粒度空間場や時間進化システムのような高次元データに適用する場合、スケーラビリティの課題に直面している。 本稿では,これらのスケーラビリティの限界に対処するPGNNIVフレームワークの改良について,低次モデリング手法を用いて提案する。
  論文  参考訳（メタデータ） (2025-08-01T12:33:21Z)
• DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
  本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。 DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
  論文  参考訳（メタデータ） (2025-01-08T09:08:24Z)
• An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
  深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。 本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。 本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
  論文  参考訳（メタデータ） (2024-10-24T18:15:48Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment [81.78901060731269]
  テスト時間適応(TTA)は、これまで見つからなかった、シフトしたターゲットドメイン上でのソースドメイン事前訓練モデルの性能を改善することを目的としている。 従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。 最近提案された拡散駆動型TTA法は、モデル入力を重みに代えて適応することでこれを緩和し、ソースドメイン上で訓練された無条件拡散モデルにより、ターゲットドメインデータをソースドメインに近似する合成ドメインに変換する。
  論文  参考訳（メタデータ） (2024-06-06T17:39:09Z)
• CrysGNN : Distilling pre-trained knowledge to enhance property prediction for crystalline materials [25.622724168215097]
  本稿では結晶材料のための新しいトレーニング済みGNNフレームワークであるCrysGNNについて述べる。 これは、未ラベルの材料データを用いて、結晶グラフのノードレベルとグラフレベルの構造情報をキャプチャする。 我々は、事前訓練されたモデルから知識を抽出することで、全てのSOTAアルゴリズムがベニラバージョンを良好なマージンで上回ることができることを示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-14T08:12:01Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。