論文の概要: 3D Denoisers are Good 2D Teachers: Molecular Pretraining via Denoising and Cross-Modal Distillation

• arxiv url: http://arxiv.org/abs/2309.04062v1
• Date: Fri, 8 Sep 2023 01:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 16:24:20.185661
• Title: 3D Denoisers are Good 2D Teachers: Molecular Pretraining via Denoising and Cross-Modal Distillation
• Title（参考訳）: 3D Denoisersは良い2D教師である:Denoisingとクロスモーダル蒸留による分子プレトレーニング
• Authors: Sungjun Cho, Dae-Woong Jeong, Sung Moon Ko, Jinwoo Kim, Sehui Han, Seunghoon Hong, Honglak Lee, Moontae Lee
• Abstract要約: 本稿では、3Dデノイザから表現を蒸留することにより、2Dグラフエンコーダを事前学習する自己教師型分子表現学習フレームワークD&Dを提案する。 D&Dは2Dグラフに基づいて3D情報を推測でき、他のベースラインに対して優れた性能とラベル効率を示す。
• 参考スコア（独自算出の注目度）: 65.35632020653291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining molecular representations from large unlabeled data is essential for molecular property prediction due to the high cost of obtaining ground-truth labels. While there exist various 2D graph-based molecular pretraining approaches, these methods struggle to show statistically significant gains in predictive performance. Recent work have thus instead proposed 3D conformer-based pretraining under the task of denoising, which led to promising results. During downstream finetuning, however, models trained with 3D conformers require accurate atom-coordinates of previously unseen molecules, which are computationally expensive to acquire at scale. In light of this limitation, we propose D&D, a self-supervised molecular representation learning framework that pretrains a 2D graph encoder by distilling representations from a 3D denoiser. With denoising followed by cross-modal knowledge distillation, our approach enjoys use of knowledge obtained from denoising as well as painless application to downstream tasks with no access to accurate conformers. Experiments on real-world molecular property prediction datasets show that the graph encoder trained via D&D can infer 3D information based on the 2D graph and shows superior performance and label-efficiency against other baselines.
• Abstract（参考訳）: 大規模未ラベルデータからの分子表現の事前調整は, 地下構造ラベルの取得コストが高いため, 分子特性予測に不可欠である。 様々な2次元グラフに基づく分子前訓練手法が存在するが、これらの手法は予測性能において統計的に有意な向上を示すのに苦慮している。 近年の研究では,3次元コンホメータを用いたプレトレーニングが提案されている。 しかし、下流での微調整では、3Dコンフォメータで訓練されたモデルには、未確認分子の正確な原子座標が要求される。 この限界を踏まえ,3次元デノイザーからの表現を蒸留して2次元グラフエンコーダを事前学習する自己教師付き分子表現学習フレームワークであるd&dを提案する。 本手法では,デノナイジングとクロスモーダルな知識蒸留を併用することにより,デノナイジングから得られる知識の活用と,正確なコンバータにアクセスできないダウンストリームタスクへの痛みのない適用を享受する。 実世界の分子特性予測データセットの実験により、D&Dにより訓練されたグラフエンコーダは、2Dグラフに基づいて3D情報を推測でき、他のベースラインに対して優れた性能とラベル効率を示す。

関連論文リスト

• 3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information [1.1777304970289215]
  3D-Molはより正確な空間構造表現のために設計された新しいアプローチである。 分子を3つの階層グラフに分解し、幾何学的情報をよりよく抽出する。 3D-Molと最先端のベースラインを7つのベンチマークで比較し,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-28T10:05:37Z)
• Geometry-aware Line Graph Transformer Pre-training for Molecular Property Prediction [4.598522704308923]
  Geometry-Aware line graph transformer (Galformer) は、新しい自己教師型学習フレームワークである。 Galformerは、分類タスクと回帰タスクの両方において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-09-01T14:20:48Z)
• Automated 3D Pre-Training for Molecular Property Prediction [54.15788181794094]
  新たな3D事前学習フレームワーク(3D PGT)を提案する。 3D分子グラフのモデルを事前訓練し、3D構造のない分子グラフに微調整する。 提案した3次元PGTの精度, 効率, 一般化能力を示すために, 2次元分子グラフの大規模実験を行った。
  論文  参考訳（メタデータ） (2023-06-13T14:43:13Z)
• Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
  大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。 これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。 3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-02T14:46:58Z)
• 3D Point Cloud Pre-training with Knowledge Distillation from 2D Images [128.40422211090078]
  本稿では,2次元表現学習モデルから直接知識を取得するために,3次元ポイントクラウド事前学習モデルの知識蒸留手法を提案する。 具体的には、3Dポイントクラウドから概念特徴を抽出し、2D画像からの意味情報と比較するクロスアテンション機構を提案する。 このスキームでは,2次元教師モデルに含まれるリッチな情報から,クラウド事前学習モデルを直接学習する。
  論文  参考訳（メタデータ） (2022-12-17T23:21:04Z)
• 3D Equivariant Molecular Graph Pretraining [42.957880677779556]
  完全かつ新しい意味での3D分子プレトレーニングに取り組む。 まず,3次元空間の対称性を満たすことのメリットを享受する事前学習のバックボーンとして,同変エネルギーベースモデルを採用することを提案する。 大規模3DデータセットGEOM-QM9から事前学習したモデルを,MD17とQM9の2つの挑戦的な3Dベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-07-18T16:26:24Z)
• Unified 2D and 3D Pre-Training of Molecular Representations [237.36667670201473]
  統合された2次元および3次元事前学習に基づく新しい表現学習法を提案する。 原子座標と原子間距離は符号化され、グラフニューラルネットワークを介して原子表現と融合する。 提案手法は10タスクの最先端化を実現し、2Dのみのタスクの平均改善率は8.3%である。
  論文  参考訳（メタデータ） (2022-07-14T11:36:56Z)
• Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
  本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。 近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
  論文  参考訳（メタデータ） (2022-05-31T22:28:34Z)
• Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training [45.90045513731704]
  本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。 再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。 4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T03:11:21Z)
• 3D Infomax improves GNNs for Molecular Property Prediction [1.9703625025720701]
  本稿では,2次元分子グラフのみに与えられる分子の幾何学をモデル化するための事前学習モデルを提案する。 我々は,3次元事前学習が幅広い特性に対して大きな改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。