論文の概要: FastFold: Reducing AlphaFold Training Time from 11 Days to 67 Hours
- arxiv url: http://arxiv.org/abs/2203.00854v2
- Date: Fri, 4 Mar 2022 10:08:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 12:14:04.724555
- Title: FastFold: Reducing AlphaFold Training Time from 11 Days to 67 Hours
- Title(参考訳): FastFold:AlphaFoldのトレーニング時間を11日から67時間に短縮
- Authors: Shenggan Cheng, Ruidong Wu, Zhongming Yu, Binrui Li, Xiwen Zhang, Jian
Peng, Yang You
- Abstract要約: 本稿では,タンパク質構造予測モデルの訓練と推論のための高効率実装であるFastFoldを提案する。
FastFoldには、AlphaFoldのパフォーマンスを徹底的に分析した一連のGPU最適化が含まれている。
実験の結果、FastFoldはトレーニング時間を11日から67時間に短縮し、ロングシーケンス推論のために7.5-9.5倍のスピードアップを達成した。
- 参考スコア(独自算出の注目度): 11.847436777986323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Protein structure prediction is an important method for understanding gene
translation and protein function in the domain of structural biology. AlphaFold
introduced the Transformer model to the field of protein structure prediction
with atomic accuracy. However, training and inference of the AlphaFold model
are time-consuming and expensive because of the special performance
characteristics and huge memory consumption. In this paper, we propose
FastFold, a highly efficient implementation of the protein structure prediction
model for training and inference. FastFold includes a series of GPU
optimizations based on a thorough analysis of AlphaFold's performance.
Meanwhile, with Dynamic Axial Parallelism and Duality Async Operation, FastFold
achieves high model parallelism scaling efficiency, surpassing existing popular
model parallelism techniques. Experimental results show that FastFold reduces
overall training time from 11 days to 67 hours and achieves 7.5-9.5X speedup
for long-sequence inference. Furthermore, We scaled FastFold to 512 GPUs and
achieved an aggregate of 6.02 PetaFLOPs with 90.1% parallel efficiency. The
implementation can be found at https://github.com/hpcaitech/FastFold
- Abstract(参考訳): タンパク質構造予測は、構造生物学領域における遺伝子翻訳とタンパク質機能を理解する重要な方法である。
AlphaFoldは、原子精度でタンパク質構造予測の分野にトランスフォーマーモデルを導入した。
しかし、AlphaFoldモデルのトレーニングと推論は、特別な性能特性と膨大なメモリ消費のため、時間と費用がかかる。
本稿では,タンパク質構造予測モデルの学習と推論のための高効率実装であるFastFoldを提案する。
FastFoldには、AlphaFoldのパフォーマンスを徹底的に分析した一連のGPU最適化が含まれている。
一方、Dynamic Axial ParallelismとDuality Async Operationでは、FastFoldは、既存の一般的なモデル並列化技術を上回る、高いモデル並列化スケーリング効率を達成する。
実験の結果、FastFoldはトレーニング時間を11日から67時間に短縮し、ロングシーケンス推論のために7.5-9.5倍のスピードアップを達成した。
さらに、FastFoldを512GPUに拡張し、90.1%の並列効率で6.02 PetaFLOPを集計した。
実装はhttps://github.com/hpcaitech/FastFoldで確認できる。
関連論文リスト
- PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。
PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。
合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2024-10-07T03:52:06Z) - Improving AlphaFlow for Efficient Protein Ensembles Generation [64.10918970280603]
効率的なタンパク質アンサンブル生成を実現するために,AlphaFlow-Litと呼ばれる特徴条件付き生成モデルを提案する。
AlphaFlow-LitはAlphaFlowとオンパーで動作し、予行訓練なしで蒸留されたバージョンを上回り、47倍のサンプリング加速を達成している。
論文 参考訳(メタデータ) (2024-07-08T13:36:43Z) - ScaleFold: Reducing AlphaFold Initial Training Time to 10 Hours [4.886207598730398]
OpenfoldをベースとしたAlphaFoldトレーニング手順を総合的に分析する。
そこで我々は,AlphaFoldの効率的なスケーリングを阻害する要因として,非効率な通信とオーバヘッド優先の計算が重要であることを確認した。
これらの要因に最適化を取り入れた,系統的なトレーニング手法であるScaleFoldを紹介する。
論文 参考訳(メタデータ) (2024-04-17T04:55:33Z) - AlphaFold Meets Flow Matching for Generating Protein Ensembles [11.1639408863378]
本研究では,タンパク質のコンフォメーション・ランドスケープを学習・サンプリングするためのフローベース生成モデリング手法を開発した。
提案手法はAlphaFoldとMSAサブサンプリングと比較して精度と多様性の組合せが優れている。
本手法は,MD軌道の再現よりも高速な壁面収束により,静的なPDB構造を多様化することができる。
論文 参考訳(メタデータ) (2024-02-07T13:44:47Z) - Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。
凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文 参考訳(メタデータ) (2024-02-05T10:55:47Z) - AlphaFold Distillation for Protein Design [25.190210443632825]
逆タンパク質の折りたたみはバイオエンジニアリングと薬物発見に不可欠である。
AlphaFoldのような前方の折りたたみモデルは、シーケンスから構造を正確に予測することで潜在的な解決策を提供する。
本稿では, 折り畳みモデルの信頼性測定値に対する知識蒸留を用いて, より高速かつエンドツーエンドの識別可能な蒸留モデルを作成することを提案する。
論文 参考訳(メタデータ) (2022-10-05T19:43:06Z) - Revisiting Multi-Scale Feature Fusion for Semantic Segmentation [90.32746095413447]
本稿では,高精度なセマンティックセグメンテーションには高い内部分解能もアトラス畳み込みも不要であることを示す。
我々は,内部分解能が高く,高コストなアトラス畳み込みをもたない,ESegと呼ばれる簡易なセグメンテーションモデルを開発した。
我々の単純な手法は、複数のデータセットにまたがる先行技術よりも高速で精度を向上できる。
論文 参考訳(メタデータ) (2022-03-23T19:14:11Z) - Shatter: An Efficient Transformer Encoder with Single-Headed
Self-Attention and Relative Sequence Partitioning [14.164984597158501]
トランスフォーマーアーキテクチャは、自己注意に基づくもので、BERTのような大規模な事前訓練モデルの基礎となっている。
シーケンス情報をより効率的にエンコードする、別の自己アテンションアーキテクチャShatterを提案する。
我々は、ShatterがBERTよりも優れたパフォーマンスを達成することを示す広範な実験を行う。
論文 参考訳(メタデータ) (2021-08-30T07:42:12Z) - EBM-Fold: Fully-Differentiable Protein Folding Powered by Energy-based
Models [53.17320541056843]
本研究では,データ駆動型生成ネットワークを用いたタンパク質構造最適化手法を提案する。
EBM-Foldアプローチは,従来のロゼッタ構造最適化ルーチンと比較して,高品質なデコイを効率よく生成できる。
論文 参考訳(メタデータ) (2021-05-11T03:40:29Z) - Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。
我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。
具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
論文 参考訳(メタデータ) (2020-09-15T01:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。