論文の概要: HelixFold: An Efficient Implementation of AlphaFold2 using PaddlePaddle
- arxiv url: http://arxiv.org/abs/2207.05477v2
- Date: Wed, 13 Jul 2022 04:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-14 12:01:38.313676
- Title: HelixFold: An Efficient Implementation of AlphaFold2 using PaddlePaddle
- Title（参考訳）: HelixFold: PaddlePaddleを使用したAlphaFold2の効率的な実装
- Authors: Guoxia Wang, Xiaomin Fang, Zhihua Wu, Yiqun Liu, Yang Xue, Yingfei
Xiang, Dianhai Yu, Fan Wang, Yanjun Ma
- Abstract要約: 我々はPaddlePaddle、すなわちHelixFoldを使ってAlphaFold2を実装し、トレーニングと推論速度を改善し、メモリ消費を減らす。
オリジナルのAlphaFold2とOpenFoldと比較して、HelixFoldはエンドツーエンドのトレーニングを完了するのに7.5日しかかからない。
HelixFoldの精度は、CASP14とCAMEOデータセットのAlphaFold2と同等である。
- 参考スコア（独自算出の注目度）: 19.331098164638544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate protein structure prediction can significantly accelerate the
development of life science. The accuracy of AlphaFold2, a frontier end-to-end
structure prediction system, is already close to that of the experimental
determination techniques. Due to the complex model architecture and large
memory consumption, it requires lots of computational resources and time to
implement the training and inference of AlphaFold2 from scratch. The cost of
running the original AlphaFold2 is expensive for most individuals and
institutions. Therefore, reducing this cost could accelerate the development of
life science. We implement AlphaFold2 using PaddlePaddle, namely HelixFold, to
improve training and inference speed and reduce memory consumption. The
performance is improved by operator fusion, tensor fusion, and hybrid
parallelism computation, while the memory is optimized through Recompute,
BFloat16, and memory read/write in-place. Compared with the original AlphaFold2
(implemented with Jax) and OpenFold (implemented with PyTorch), HelixFold needs
only 7.5 days to complete the full end-to-end training and only 5.3 days when
using hybrid parallelism, while both AlphaFold2 and OpenFold take about 11
days. HelixFold saves 1x training time. We verified that HelixFold's accuracy
could be on par with AlphaFold2 on the CASP14 and CAMEO datasets. HelixFold's
code is available on GitHub for free download:
https://github.com/PaddlePaddle/PaddleHelix/tree/dev/apps/protein_folding/helixfold,
and we also provide stable web services on
https://paddlehelix.baidu.com/app/drug/protein/forecast.
- Abstract（参考訳）: 正確なタンパク質構造予測は生命科学の発展を著しく加速させる。
端から端までの構造予測システムであるalphafold2の精度は、すでに実験的な決定技術に近い。
複雑なモデルアーキテクチャと大量のメモリ消費のため、alphafold2のトレーニングと推論をスクラッチから実装するには、多くの計算リソースと時間が必要です。
オリジナルのAlphaFold2を走らせるコストは、ほとんどの個人や機関にとって高い。
そのため、このコスト削減は生命科学の発展を加速させる可能性がある。
我々はPaddlePaddle、すなわちHelixFoldを使ってAlphaFold2を実装し、トレーニングと推論速度を改善し、メモリ消費を減らす。
演算子融合、テンソル融合、ハイブリッド並列計算により性能が向上し、メモリはRecompute、BFloat16、メモリ読み取り/書き込みで最適化される。
オリジナルのAlphaFold2(Jaxで実装)とOpenFold(PyTorchで実装)と比較して、HelixFoldは完全なエンドツーエンドのトレーニングを完了するのに7.5日、ハイブリッド並列性を使用するのに5.3日しか要しない。
HelixFoldは1倍のトレーニング時間を節約する。
我々は、HelixFoldの精度がCASP14およびCAMEOデータセット上のAlphaFold2と同等であることを確認した。
HelixFoldのコードはGitHubで無料でダウンロードできる。 https://github.com/PaddlePaddle/PaddleHelix/tree/dev/apps/oprotein_folding/helixfold。
関連論文リスト
- Technical Report of HelixFold3 for Biomolecular Structure Prediction [12.848589926054565]
AlphaFoldはタンパク質構造予測を顕著な精度で変換した。
HelixFold3はAlphaFold3の機能の複製を目指している。
HelixFold3の初期リリースはGitHubでオープンソースとして公開されている。
論文 参考訳（メタデータ） (2024-08-30T02:36:36Z) - Improving AlphaFlow for Efficient Protein Ensembles Generation [64.10918970280603]
効率的なタンパク質アンサンブル生成を実現するために,AlphaFlow-Litと呼ばれる特徴条件付き生成モデルを提案する。
AlphaFlow-LitはAlphaFlowとオンパーで動作し、予行訓練なしで蒸留されたバージョンを上回り、47倍のサンプリング加速を達成している。
論文 参考訳（メタデータ） (2024-07-08T13:36:43Z) - ScaleFold: Reducing AlphaFold Initial Training Time to 10 Hours [4.886207598730398]
OpenfoldをベースとしたAlphaFoldトレーニング手順を総合的に分析する。
そこで我々は,AlphaFoldの効率的なスケーリングを阻害する要因として,非効率な通信とオーバヘッド優先の計算が重要であることを確認した。
これらの要因に最適化を取り入れた,系統的なトレーニング手法であるScaleFoldを紹介する。
論文 参考訳（メタデータ） (2024-04-17T04:55:33Z) - FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor
Cores [18.016204763652553]
長いフィルタを持つ畳み込みモデルは、多くの長いシーケンスタスクにおいて最先端の推論能力を示している。
Fast Fourier Transform (FFT) は、長い畳み込みを$O(N logN)$ time in sequence length $N$で実行可能にするが、ハードウェア利用は乏しい。
本稿では,FFT畳み込みの最適化方法について検討する。
論文 参考訳（メタデータ） (2023-11-10T07:33:35Z) - HelixFold-Single: MSA-free Protein Structure Prediction by Using Protein
Language Model as an Alternative [61.984700682903096]
HelixFold-Singleは、大規模なタンパク質言語モデルとAlphaFold2の優れた幾何学的学習能力を組み合わせるために提案されている。
提案手法は,数千万の一次配列を持つ大規模タンパク質言語モデルを事前学習する。
我々は、一次系列のみから原子の3次元座標を予測するために、エンドツーエンドの微分可能なモデルを得る。
論文 参考訳（メタデータ） (2022-07-28T07:30:33Z) - Stochastic Gradient Descent without Full Data Shuffle [65.97105896033815]
CorgiPileは階層的なデータシャッフル戦略で、完全なデータシャッフルを回避すると同時に、完全なシャッフルを実行したかのようにSGDの収束率を同等に維持する。
以上の結果から,CorgiPileは深層学習モデルと一般化線形モデルの両方において,全シャッフルベースSGDと同等の収束率を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-06-12T20:04:31Z) - FastFold: Reducing AlphaFold Training Time from 11 Days to 67 Hours [11.847436777986323]
本稿では,タンパク質構造予測モデルの訓練と推論のための高効率実装であるFastFoldを提案する。
FastFoldには、AlphaFoldのパフォーマンスを徹底的に分析した一連のGPU最適化が含まれている。
実験の結果、FastFoldはトレーニング時間を11日から67時間に短縮し、ロングシーケンス推論のために7.5-9.5倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2022-03-02T03:59:51Z) - FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。
NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。
Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
論文 参考訳（メタデータ） (2021-05-25T06:32:52Z) - Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。
特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。
本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
論文 参考訳（メタデータ） (2021-04-16T09:54:30Z) - XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。
空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。
XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文 参考訳（メタデータ） (2020-02-27T11:46:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。