論文の概要: Coordinating Cross-modal Distillation for Molecular Property Prediction

• arxiv url: http://arxiv.org/abs/2211.16712v1
• Date: Wed, 30 Nov 2022 03:19:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 18:08:09.335254
• Title: Coordinating Cross-modal Distillation for Molecular Property Prediction
• Title（参考訳）: 分子特性予測のためのクロスモーダル蒸留のコーディネート
• Authors: Hao Zhang, Nan Zhang, Ruixin Zhang, Lei Shen, Yingyi Zhang, and Meng Liu
• Abstract要約: グローバルな分子蒸留と局所的な原子蒸留を含む枠組みを提案する。 また、原子と分子情報の調整方法を正当化する理論的な洞察も提供します。 提案手法は,他の手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 21.811716721135248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, molecular graph representation learning (GRL) has drawn much more attention in molecular property prediction (MPP) problems. The existing graph methods have demonstrated that 3D geometric information is significant for better performance in MPP. However, accurate 3D structures are often costly and time-consuming to obtain, limiting the large-scale application of GRL. It is an intuitive solution to train with 3D to 2D knowledge distillation and predict with only 2D inputs. But some challenging problems remain open for 3D to 2D distillation. One is that the 3D view is quite distinct from the 2D view, and the other is that the gradient magnitudes of atoms in distillation are discrepant and unstable due to the variable molecular size. To address these challenging problems, we exclusively propose a distillation framework that contains global molecular distillation and local atom distillation. We also provide a theoretical insight to justify how to coordinate atom and molecular information, which tackles the drawback of variable molecular size for atom information distillation. Experimental results on two popular molecular datasets demonstrate that our proposed model achieves superior performance over other methods. Specifically, on the largest MPP dataset PCQM4Mv2 served as an "ImageNet Large Scale Visual Recognition Challenge" in the field of graph ML, the proposed method achieved a 6.9% improvement compared with the best works. And we obtained fourth place with the MAE of 0.0734 on the test-challenge set for OGB-LSC 2022 Graph Regression Task. We will release the code soon.
• Abstract（参考訳）: 近年,分子グラフ表現学習 (GRL) が分子特性予測 (MPP) 問題において注目されている。 既存のグラフ手法では、3次元幾何情報がmppの性能向上に重要であることが示されている。 しかし、正確な3D構造は高コストで入手に時間がかかることが多く、GRLの大規模適用が制限される。 これは、3dから2dの知識蒸留で訓練し、2d入力だけで予測する直感的な解決策である。 しかし、3Dから2Dへの蒸留には難しい問題がある。 1つは3次元ビューが2次元ビューとは全く異なることであり、もう1つは、蒸留中の原子の勾配の等級が、分子の大きさの変動により分散し不安定であることである。 これらの課題に対処するため,グローバルな分子蒸留と局所的な原子蒸留を含む蒸留フレームワークを提案する。 また、原子情報蒸留における可変分子サイズの欠点に対処するため、原子と分子情報のコーディネート方法を正当化する理論的な洞察を与える。 2つのポピュラーな分子データセットにおける実験結果から,提案手法は他の手法よりも優れた性能が得られた。 具体的には、最も大きなMPPデータセットであるPCQM4Mv2は、グラフMLの分野で"ImageNet Large Scale Visual Recognition Challenge"として機能し、提案手法はベストワークに比べて6.9%改善された。 また,OGB-LSC 2022 Graph Regression TaskにおけるテストチェレンジセットのMAEは0.0734で4位となった。 私たちはすぐにコードをリリースします。

関連論文リスト

• 3D Denoisers are Good 2D Teachers: Molecular Pretraining via Denoising and Cross-Modal Distillation [65.35632020653291]
  本稿では、3Dデノイザから表現を蒸留することにより、2Dグラフエンコーダを事前学習する自己教師型分子表現学習フレームワークD&Dを提案する。 D&Dは2Dグラフに基づいて3D情報を推測でき、他のベースラインに対して優れた性能とラベル効率を示す。
  論文  参考訳（メタデータ） (2023-09-08T01:36:58Z)
• Geometry-aware Line Graph Transformer Pre-training for Molecular Property Prediction [4.598522704308923]
  Geometry-Aware line graph transformer (Galformer) は、新しい自己教師型学習フレームワークである。 Galformerは、分類タスクと回帰タスクの両方において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-09-01T14:20:48Z)
• MUDiff: Unified Diffusion for Complete Molecule Generation [104.7021929437504]
  本稿では,原子の特徴,2次元離散分子構造,および3次元連続分子座標を含む分子の包括的表現を生成する新しいモデルを提案する。 拡散過程を認知するための新しいグラフトランスフォーマーアーキテクチャを提案する。 我々のモデルは、安定で多様な分子を設計するための有望なアプローチであり、分子モデリングの幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2023-04-28T04:25:57Z)
• Unified 2D and 3D Pre-Training of Molecular Representations [237.36667670201473]
  統合された2次元および3次元事前学習に基づく新しい表現学習法を提案する。 原子座標と原子間距離は符号化され、グラフニューラルネットワークを介して原子表現と融合する。 提案手法は10タスクの最先端化を実現し、2Dのみのタスクの平均改善率は8.3%である。
  論文  参考訳（メタデータ） (2022-07-14T11:36:56Z)
• Graph-based Molecular Representation Learning [59.06193431883431]
  分子表現学習(MRL)は、機械学習と化学科学を結びつけるための重要なステップである。 近年、MRLは、特に深層分子グラフ学習に基づく手法において、かなりの進歩を遂げている。
  論文  参考訳（メタデータ） (2022-07-08T17:43:20Z)
• Direct Molecular Conformation Generation [217.4815525740703]
  本稿では,原子の座標を直接予測する手法を提案する。 提案手法は,4つの公開ベンチマークの最先端結果を実現する。
  論文  参考訳（メタデータ） (2022-02-03T01:01:58Z)
• 3D Infomax improves GNNs for Molecular Property Prediction [1.9703625025720701]
  本稿では,2次元分子グラフのみに与えられる分子の幾何学をモデル化するための事前学習モデルを提案する。 我々は,3次元事前学習が幅広い特性に対して大きな改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:30:49Z)
• Molecule3D: A Benchmark for Predicting 3D Geometries from Molecular Graphs [79.06686274377009]
  我々は、約400万分子の正確な基底状態のジオメトリーを持つデータセットを含むMolecule3Dと呼ばれるベンチマークを開発する。 我々は3次元空間における原子と原子の対距離を予測する2つのベースライン法を実装した。 本手法は予測精度に匹敵する精度を達成できるが,計算コストははるかに小さい。
  論文  参考訳（メタデータ） (2021-09-30T22:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。