論文の概要: Exploring Post-Training Quantization of Protein Language Models
- arxiv url: http://arxiv.org/abs/2310.19624v1
- Date: Mon, 30 Oct 2023 15:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 19:44:40.029750
- Title: Exploring Post-Training Quantization of Protein Language Models
- Title(参考訳): タンパク質言語モデルの学習後量子化の探索
- Authors: Shuang Peng, Fei Yang, Ning Sun, Sheng Chen, Yanfeng Jiang, Aimin Pan
- Abstract要約: タンパク質言語モデルのための後学習量子化(PTQ)に関する研究(ProteinLMs)
我々の研究は、タンパク質膜の全重量と活性化を定量化する最初の試みである。
非対称なアクティベーション値に対して一方向線形量子化を利用する新しいPTQ法を提案する。
- 参考スコア(独自算出の注目度): 9.562786130999188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in unsupervised protein language models (ProteinLMs),
like ESM-1b and ESM-2, have shown promise in different protein prediction
tasks. However, these models face challenges due to their high computational
demands, significant memory needs, and latency, restricting their usage on
devices with limited resources. To tackle this, we explore post-training
quantization (PTQ) for ProteinLMs, focusing on ESMFold, a simplified version of
AlphaFold based on ESM-2 ProteinLM. Our study is the first attempt to quantize
all weights and activations of ProteinLMs. We observed that the typical uniform
quantization method performs poorly on ESMFold, causing a significant drop in
TM-Score when using 8-bit quantization. We conducted extensive quantization
experiments, uncovering unique challenges associated with ESMFold, particularly
highly asymmetric activation ranges before Layer Normalization, making
representation difficult using low-bit fixed-point formats. To address these
challenges, we propose a new PTQ method for ProteinLMs, utilizing piecewise
linear quantization for asymmetric activation values to ensure accurate
approximation. We demonstrated the effectiveness of our method in protein
structure prediction tasks, demonstrating that ESMFold can be accurately
quantized to low-bit widths without compromising accuracy. Additionally, we
applied our method to the contact prediction task, showcasing its versatility.
In summary, our study introduces an innovative PTQ method for ProteinLMs,
addressing specific quantization challenges and potentially leading to the
development of more efficient ProteinLMs with significant implications for
various protein-related applications.
- Abstract(参考訳): esm-1bやesm-2のような教師なしタンパク質言語モデル(proteinlms)の最近の進歩は、さまざまなタンパク質予測タスクで期待されている。
しかし、これらのモデルは、高い計算要求、重要なメモリ要求、遅延のために問題に直面し、限られたリソースを持つデバイスでの使用を制限する。
そこで本研究では,ProteinLMのポストトレーニング量子化(PTQ)について検討し,ESM-2ProteinLMをベースとしたAlphaFoldの簡易版であるESMFoldに着目した。
我々の研究は、たんぱく質の全重みと活性化を定量化する最初の試みである。
典型的な均一量子化法はESMFoldでは不十分であり、8ビット量子化ではTMスコアが大幅に低下する。
esmfold,特に層正規化前の高度に非対称なアクティベーション範囲について,幅広い量子化実験を行い,低ビット固定点形式を用いた表現の困難さを明らかにした。
これらの課題に対処するために,不斉アクティベーション値の分数次線形量子化を利用して正確な近似を保証する新しいPTQ法を提案する。
タンパク質構造予測タスクにおける本手法の有効性を実証し,ESMFoldを精度良く低ビット幅まで正確に定量化できることを示した。
さらに,本手法を接触予測タスクに適用し,その汎用性を示した。
本研究は,タンパク質膜に対する革新的PTQ法を導入し,特定の量子化課題に対処し,タンパク質関連アプリケーションに重要な意味を持つより効率的なタンパク質膜の開発につながる可能性がある。
関連論文リスト
- PSC-CPI: Multi-Scale Protein Sequence-Structure Contrasting for
Efficient and Generalizable Compound-Protein Interaction Prediction [63.50967073653953]
化合物-タンパク質相互作用予測は、合理的な薬物発見のための化合物-タンパク質相互作用のパターンと強度を予測することを目的としている。
既存のディープラーニングベースの手法では、タンパク質配列や構造が単一のモダリティしか利用していない。
CPI予測のためのマルチスケールタンパク質配列構造コントラストフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-13T03:51:10Z) - xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering
the Language of Protein [76.18058946124111]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。
xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。
また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文 参考訳(メタデータ) (2024-01-11T15:03:17Z) - Efficiently Predicting Protein Stability Changes Upon Single-point
Mutation with Large Language Models [51.57843608615827]
タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。
タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
論文 参考訳(メタデータ) (2023-12-07T03:25:49Z) - Do Emergent Abilities Exist in Quantized Large Language Models: An
Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。
実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。
低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文 参考訳(メタデータ) (2023-07-16T15:11:01Z) - PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language
Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。
PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。
BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文 参考訳(メタデータ) (2023-05-30T08:41:33Z) - ProtFIM: Fill-in-Middle Protein Sequence Design via Protein Language
Models [0.0]
現実世界のタンパク質工学では、タンパク質配列の中央にあるアミノ酸が他の残基を維持しながら最適化されることが多い。
タンパク質言語モデル(pLM)はタンパク質配列設計のための有望なツールである。
ProtFIMとよばれる中間変換によって訓練された言語モデルは、タンパク質工学により適していることを示す。
論文 参考訳(メタデータ) (2023-03-29T04:35:50Z) - Accurate Machine Learned Quantum-Mechanical Force Fields for
Biomolecular Simulations [51.68332623405432]
分子動力学(MD)シミュレーションは、化学的および生物学的プロセスに関する原子論的な洞察を可能にする。
近年,MDシミュレーションの代替手段として機械学習力場(MLFF)が出現している。
本研究は、大規模分子シミュレーションのための正確なMLFFを構築するための一般的なアプローチを提案する。
論文 参考訳(メタデータ) (2022-05-17T13:08:28Z) - Peptide conformational sampling using the Quantum Approximate
Optimization Algorithm [0.03499870393443267]
短いペプチドの低エネルギー配座をサンプリングする際の変分量子アルゴリズムの性能を数値的に検討する。
その結果、QAOAがタンパク質の折りたたみ問題に短期的に対処する能力に深刻な疑念を抱いた。
論文 参考訳(メタデータ) (2022-04-04T20:09:50Z) - {\lambda}-Scaled-Attention: A Novel Fast Attention Mechanism for
Efficient Modeling of Protein Sequences [1.9744199942774268]
注意に基づくディープネットワークは、NLPの分野におけるテキストデータにうまく適用されている。
タンパク質配列へのそれらの応用は、プレーンテキストの単語とは異なり、タンパク質の単語の弱い意味論のために、さらなる課題をもたらす。
本稿では,タンパク質配列の高速かつ効率的なモデリングのための新しいラムダスケールアテンション手法を提案する。
論文 参考訳(メタデータ) (2022-01-09T03:04:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。