論文の概要: Exploring Post-Training Quantization of Protein Language Models

• arxiv url: http://arxiv.org/abs/2310.19624v1
• Date: Mon, 30 Oct 2023 15:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:44:40.029750
• Title: Exploring Post-Training Quantization of Protein Language Models
• Title（参考訳）: タンパク質言語モデルの学習後量子化の探索
• Authors: Shuang Peng, Fei Yang, Ning Sun, Sheng Chen, Yanfeng Jiang, Aimin Pan
• Abstract要約: タンパク質言語モデルのための後学習量子化(PTQ)に関する研究(ProteinLMs) 我々の研究は、タンパク質膜の全重量と活性化を定量化する最初の試みである。 非対称なアクティベーション値に対して一方向線形量子化を利用する新しいPTQ法を提案する。
• 参考スコア（独自算出の注目度）: 9.562786130999188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in unsupervised protein language models (ProteinLMs), like ESM-1b and ESM-2, have shown promise in different protein prediction tasks. However, these models face challenges due to their high computational demands, significant memory needs, and latency, restricting their usage on devices with limited resources. To tackle this, we explore post-training quantization (PTQ) for ProteinLMs, focusing on ESMFold, a simplified version of AlphaFold based on ESM-2 ProteinLM. Our study is the first attempt to quantize all weights and activations of ProteinLMs. We observed that the typical uniform quantization method performs poorly on ESMFold, causing a significant drop in TM-Score when using 8-bit quantization. We conducted extensive quantization experiments, uncovering unique challenges associated with ESMFold, particularly highly asymmetric activation ranges before Layer Normalization, making representation difficult using low-bit fixed-point formats. To address these challenges, we propose a new PTQ method for ProteinLMs, utilizing piecewise linear quantization for asymmetric activation values to ensure accurate approximation. We demonstrated the effectiveness of our method in protein structure prediction tasks, demonstrating that ESMFold can be accurately quantized to low-bit widths without compromising accuracy. Additionally, we applied our method to the contact prediction task, showcasing its versatility. In summary, our study introduces an innovative PTQ method for ProteinLMs, addressing specific quantization challenges and potentially leading to the development of more efficient ProteinLMs with significant implications for various protein-related applications.
• Abstract（参考訳）: esm-1bやesm-2のような教師なしタンパク質言語モデル(proteinlms)の最近の進歩は、さまざまなタンパク質予測タスクで期待されている。 しかし、これらのモデルは、高い計算要求、重要なメモリ要求、遅延のために問題に直面し、限られたリソースを持つデバイスでの使用を制限する。 そこで本研究では,ProteinLMのポストトレーニング量子化(PTQ)について検討し,ESM-2ProteinLMをベースとしたAlphaFoldの簡易版であるESMFoldに着目した。 我々の研究は、たんぱく質の全重みと活性化を定量化する最初の試みである。 典型的な均一量子化法はESMFoldでは不十分であり、8ビット量子化ではTMスコアが大幅に低下する。 esmfold,特に層正規化前の高度に非対称なアクティベーション範囲について,幅広い量子化実験を行い,低ビット固定点形式を用いた表現の困難さを明らかにした。 これらの課題に対処するために,不斉アクティベーション値の分数次線形量子化を利用して正確な近似を保証する新しいPTQ法を提案する。 タンパク質構造予測タスクにおける本手法の有効性を実証し,ESMFoldを精度良く低ビット幅まで正確に定量化できることを示した。 さらに,本手法を接触予測タスクに適用し,その汎用性を示した。 本研究は,タンパク質膜に対する革新的PTQ法を導入し,特定の量子化課題に対処し,タンパク質関連アプリケーションに重要な意味を持つより効率的なタンパク質膜の開発につながる可能性がある。

関連論文リスト

• Long-context Protein Language Model [76.95505296417866]
  言語モデル(LM)の自己教師による訓練は、有意義な表現の学習や創薬設計において、タンパク質配列に大きな成功を収めている。 ほとんどのタンパク質LMは、短い文脈長を持つ個々のタンパク質に基づいて訓練されたトランスフォーマーアーキテクチャに基づいている。 そこで我々は,選択的構造化状態空間モデルから構築した代替のタンパク質LMアーキテクチャであるBiMamba-Sに基づくLC-PLMを提案する。 また、第2段階のトレーニングのために、タンパク質-タンパク質相互作用グラフの文脈化を行うLC-PLM-Gも導入した。
  論文  参考訳（メタデータ） (2024-10-29T16:43:28Z)
• NovoBench: Benchmarking Deep Learning-based De Novo Peptide Sequencing Methods in Proteomics [58.03989832372747]
  Emphde novoペプチドシークエンシングのための初となるNovoBenchベンチマークを報告する。 多様な質量スペクトルデータ、統合モデル、総合的な評価指標から構成される。 DeepNovo、PointNovo、Casanovo、InstaNovo、AdaNovo、$pi$-HelixNovoといった最近の手法が私たちのフレームワークに統合されています。
  論文  参考訳（メタデータ） (2024-06-16T08:23:21Z)
• Beyond ESM2: Graph-Enhanced Protein Sequence Modeling with Efficient Clustering [24.415612744612773]
  タンパク質は生命の過程に必須であり、進化と多様性を支えている。 シークエンシング技術の進歩により数百万のタンパク質が明らかにされ、生物学的分析とAI開発のための高度な事前学習されたタンパク質モデルの必要性が強調されている。 FacebookのESM2は、これまでで最も先進的なタンパク質言語モデルであり、教師なし学習にマスク付き予測タスクを活用し、顕著な生化学的精度でアミノ酸表現を作成する。 しかし、機能的なタンパク質の洞察の提供に欠けており、表現の質を高める機会を示唆している。 本研究は,タンパク質ファミリー分類をESM2のトレーニングに組み込むことにより,このギャップに対処する。
  論文  参考訳（メタデータ） (2024-04-24T11:09:43Z)
• Protein Conformation Generation via Force-Guided SE(3) Diffusion Models [48.48934625235448]
  新しいタンパク質コンホメーションを生成するために、深層生成モデリング技術が用いられている。 本稿では,タンパク質コンフォメーション生成のための力誘導SE(3)拡散モデルConfDiffを提案する。
  論文  参考訳（メタデータ） (2024-03-21T02:44:08Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Efficiently Predicting Protein Stability Changes Upon Single-point Mutation with Large Language Models [51.57843608615827]
  タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。 タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
  論文  参考訳（メタデータ） (2023-12-07T03:25:49Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• ProtFIM: Fill-in-Middle Protein Sequence Design via Protein Language Models [0.0]
  現実世界のタンパク質工学では、タンパク質配列の中央にあるアミノ酸が他の残基を維持しながら最適化されることが多い。 タンパク質言語モデル(pLM)はタンパク質配列設計のための有望なツールである。 ProtFIMとよばれる中間変換によって訓練された言語モデルは、タンパク質工学により適していることを示す。
  論文  参考訳（メタデータ） (2023-03-29T04:35:50Z)
• Peptide conformational sampling using the Quantum Approximate Optimization Algorithm [0.03499870393443267]
  短いペプチドの低エネルギー配座をサンプリングする際の変分量子アルゴリズムの性能を数値的に検討する。 その結果、QAOAがタンパク質の折りたたみ問題に短期的に対処する能力に深刻な疑念を抱いた。
  論文  参考訳（メタデータ） (2022-04-04T20:09:50Z)
• {\lambda}-Scaled-Attention: A Novel Fast Attention Mechanism for Efficient Modeling of Protein Sequences [1.9744199942774268]
  注意に基づくディープネットワークは、NLPの分野におけるテキストデータにうまく適用されている。 タンパク質配列へのそれらの応用は、プレーンテキストの単語とは異なり、タンパク質の単語の弱い意味論のために、さらなる課題をもたらす。 本稿では,タンパク質配列の高速かつ効率的なモデリングのための新しいラムダスケールアテンション手法を提案する。
  論文  参考訳（メタデータ） (2022-01-09T03:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。