論文の概要: Pre-training Graph Neural Networks with Structural Fingerprints for Materials Discovery

• arxiv url: http://arxiv.org/abs/2503.01227v1
• Date: Mon, 03 Mar 2025 06:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:14:19.285310
• Title: Pre-training Graph Neural Networks with Structural Fingerprints for Materials Discovery
• Title（参考訳）: 材料発見のための構造指紋を用いた事前学習型グラフニューラルネットワーク
• Authors: Shuyi Jia, Shitij Govil, Manav Ramprasad, Victor Fung,
• Abstract要約: 本稿では,安価に計算された構造指紋を標的とする,新しい事前学習目標を提案する。 実験により,本手法はGNNの事前学習のための一般的な戦略として機能し,原子データに対する大規模基盤モデルへの適用が期待できる。
• 参考スコア（独自算出の注目度）: 1.187456026346823
• License:
• Abstract: In recent years, pre-trained graph neural networks (GNNs) have been developed as general models which can be effectively fine-tuned for various potential downstream tasks in materials science, and have shown significant improvements in accuracy and data efficiency. The most widely used pre-training methods currently involve either supervised training to fit a general force field or self-supervised training by denoising atomic structures equilibrium. Both methods require datasets generated from quantum mechanical calculations, which quickly become intractable when scaling to larger datasets. Here we propose a novel pre-training objective which instead uses cheaply-computed structural fingerprints as targets while maintaining comparable performance across a range of different structural descriptors. Our experiments show this approach can act as a general strategy for pre-training GNNs with application towards large scale foundational models for atomistic data.
• Abstract（参考訳）: 近年,材料科学における様々な下流タスクを効果的に微調整できる汎用モデルとして,事前学習グラフニューラルネットワーク(GNN)が開発され,精度とデータ効率が大幅に向上している。 現在最も広く使われている事前訓練法は、一般的な力場に合うように指導された訓練か、原子構造平衡を妄想することによって自己監督された訓練である。 どちらの手法も、量子力学計算から生成されたデータセットを必要としており、より大きなデータセットにスケールする際にすぐに難解になる。 そこで本研究では、安価に計算された構造指紋をターゲットとして使用する代わりに、さまざまな構造記述子に対して同等の性能を維持しながら、新しい事前学習対象を提案する。 実験により,本手法はGNNの事前学習のための一般的な戦略として機能し,原子データに対する大規模基盤モデルへの適用が期待できる。

関連論文リスト

• Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
  タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。 本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:46:23Z)
• Training Graph Neural Networks Using Non-Robust Samples [2.1937382384136637]
  グラフニューラルネットワーク(GNN)は、構造化されたデータを処理するための、非常に効果的なニューラルネットワークである。 GNNは、データポイント間の関係を表すグラフ構造と、データの特徴行列の両方を活用して、特徴表現を最適化する。 本稿では,モデルトレーニングのためのより小型で効果的なトレーニングセットを構築するために,元のトレーニングセットからノイズに敏感なトレーニングサンプルを選択する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T11:10:48Z)
• Strategies for Pretraining Neural Operators [5.812284760539713]
  偏微分方程式(PDE)モデリングの事前トレーニングは、一般化性と性能を改善するために、データセットをまたいだニューラルネットワークのスケーリングを約束している。 我々は,事前学習のダイナミクスを特徴付けるために,アーキテクチャ選択を最適化することなく,事前学習手法を比較した。 プレトレーニングはモデルとデータセットの選択に大きく依存するが、一般的な転送学習や物理ベースのプレトレーニング戦略が最も有効である。
  論文  参考訳（メタデータ） (2024-06-12T17:56:46Z)
• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Does GNN Pretraining Help Molecular Representation? [5.5459878275267736]
  自己教師付きグラフ事前学習は、多くの設定において非事前学習法に対して統計的に有意な優位性を持たない。 追加の教師付き事前トレーニングでは改善が観察できるが、よりリッチな機能やバランスの取れたデータ分割によって改善は減少する可能性がある。 我々は、分子の事前学習の複雑さが不十分であり、下流のタスクに対する伝達可能な知識が少なくなると仮定する。
  論文  参考訳（メタデータ） (2022-07-13T07:34:16Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。