論文の概要: Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators

• arxiv url: http://arxiv.org/abs/2211.04598v1
• Date: Tue, 8 Nov 2022 22:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 17:50:08.445304
• Title: Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators
• Title（参考訳）: ダウン(ストリーム)時間の削減:異種AI加速器を用いた分子GNNの事前学習
• Authors: Jenna A. Bilbrey, Kristina M. Herman, Henry Sprueill, Soritis S. Xantheas, Payel Das, Manuel Lopez Roldan, Mike Kraus, Hatem Helal, Sutanay Choudhury
• Abstract要約: 分子データベース上でトレーニングされたグラフニューラルネットワーク(GNN)上の下流タスクの微調整は、1つのGPUで8.3時間28分しかかからなかった。 分子GNNのトレーニングのためのAIアクセラレータとしてGraphcore IPUを使用することで、0.5Mクラスタで報告された2.7日から2.7Mクラスタで1.2時間までトレーニング時間を短縮する。
• 参考スコア（独自算出の注目度）: 7.378896926664166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The demonstrated success of transfer learning has popularized approaches that involve pretraining models from massive data sources and subsequent finetuning towards a specific task. While such approaches have become the norm in fields such as natural language processing, implementation and evaluation of transfer learning approaches for chemistry are in the early stages. In this work, we demonstrate finetuning for downstream tasks on a graph neural network (GNN) trained over a molecular database containing 2.7 million water clusters. The use of Graphcore IPUs as an AI accelerator for training molecular GNNs reduces training time from a reported 2.7 days on 0.5M clusters to 1.2 hours on 2.7M clusters. Finetuning the pretrained model for downstream tasks of molecular dynamics and transfer to a different potential energy surface took only 8.3 hours and 28 minutes, respectively, on a single GPU.
• Abstract（参考訳）: トランスファーラーニングの成功が実証され、大量のデータソースからモデルを事前学習し、それに続く特定のタスクへの微調整を含むアプローチが普及した。 このようなアプローチは自然言語処理などの分野において標準となっているが、化学へのトランスファー学習アプローチの実装と評価は初期段階にある。 本研究では,270万個の水クラスターを含む分子データベース上で学習したグラフニューラルネットワーク(gnn)上で下流タスクの微調整を行う。 分子GNNのトレーニングのためのAIアクセラレータとしてGraphcore IPUを使用することで、0.5Mクラスタで報告された2.7日から2.7Mクラスタで1.2時間に短縮される。 分子動力学の下流タスクのための事前訓練されたモデルを微調整し、1つのGPU上でそれぞれ8.3時間28分しかかからなかった。

関連論文リスト

• Uni-Mol2: Exploring Molecular Pretraining Model at Scale [27.172011090947823]
  原子レベル, グラフレベル, 幾何学構造レベルを統合した分子事前学習モデルUni-Mol2を提案する。 我々は8億のコンフォメーションを事前トレーニングすることで、Uni-Mol2を11億のパラメータに拡張することに成功し、これまでで最大の分子前訓練モデルとなった。
  論文  参考訳（メタデータ） (2024-06-21T08:28:54Z)
• Denoise Pretraining on Nonequilibrium Molecules for Accurate and Transferable Neural Potentials [8.048439531116367]
  より正確で伝達可能なGNNポテンシャル予測を実現するために,非平衡分子配座の事前学習を提案する。 小分子で事前学習したモデルでは、顕著な伝達性を示し、多様な分子系で微調整された場合の性能が向上した。
  論文  参考訳（メタデータ） (2023-03-03T21:15:22Z)
• MolCPT: Molecule Continuous Prompt Tuning to Generalize Molecular Representation Learning [77.31492888819935]
  分子表現学習のための「プリトレイン,プロンプト,ファインチューン」という新しいパラダイム,分子連続プロンプトチューニング(MolCPT)を提案する。 MolCPTは、事前訓練されたモデルを使用して、スタンドアロンの入力を表現的なプロンプトに投影するモチーフプロンプト関数を定義する。 いくつかのベンチマークデータセットの実験により、MollCPTは分子特性予測のために学習済みのGNNを効率的に一般化することが示された。
  論文  参考訳（メタデータ） (2022-12-20T19:32:30Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Systematic Survey of Chemical Pre-trained Models [38.57023440288189]
  ディープニューラルネットワーク(DNN)をスクラッチからトレーニングするには、しばしば大量のラベル付き分子を必要とする。 この問題を緩和するため、分子事前学習モデル(CPM)に多大な努力が注がれている。 CPMは、大規模未ラベルの分子データベースを使用して事前訓練され、特定の下流タスクに対して微調整される。
  論文  参考訳（メタデータ） (2022-10-29T03:53:11Z)
• Scalable training of graph convolutional neural networks for fast and accurate predictions of HOMO-LUMO gap in molecules [1.8947048356389908]
  この研究は、数百万の分子の物質特性を予測するために、HPCシステム上でGCNNモデルを構築することに焦点を当てている。 PyTorchで分散データ並列性を活用するために,大規模GCNNトレーニング用の社内ライブラリであるHydraGNNを使用しています。 我々は2つのオープンソースの大規模グラフデータセットの並列トレーニングを行い、HOMO-LUMOギャップとして知られる重要な量子特性のためのGCNN予測器を構築する。
  論文  参考訳（メタデータ） (2022-07-22T20:54:22Z)
• Semi-supervised physics guided deep learning framework for predicting the I-V characteristics of GAN HEMT [0.0]
  このフレームワークは本質的に汎用的であり、その振る舞いが知られている限り、他の研究分野の現象をモデル化するために適用することができる。 窒化ガリウム系高電子移動トランジスタ(GaN HEMT)のI-V特性を予測する半教師付き物理誘導ニューラルネットワーク(SPGNN)が開発された。 SPGNNは、目に見えない状況であっても、従来のニューラルネットワーク(TNN)と同じような、あるいは優れたパフォーマンスを達成するために、トレーニングデータの要求を80%以上削減する。
  論文  参考訳（メタデータ） (2021-10-20T18:48:50Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Self-Supervised Graph Transformer on Large-Scale Molecular Data [73.3448373618865]
  分子表現学習のための新しいフレームワークGROVERを提案する。 GROVERは、分子の豊富な構造的および意味的な情報を、巨大な未標識分子データから学習することができる。 分子表現学習において、最大のGNNであり、最大のトレーニングデータセットである、1000万個の未標識分子に1億のパラメータを持つGROVERを事前訓練します。
  論文  参考訳（メタデータ） (2020-06-18T08:37:04Z)
• Assessing Graph-based Deep Learning Models for Predicting Flash Point [52.931492216239995]
  グラフベースのディープラーニング(GBDL)モデルは初めてフラッシュポイントを予測するために実装された。 MPNNの平均R2と平均絶対誤差(MAE)は、それぞれ2.3%低、2.0K高である。
  論文  参考訳（メタデータ） (2020-02-26T06:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。