論文の概要: SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions

• arxiv url: http://arxiv.org/abs/2411.11530v1
• Date: Mon, 18 Nov 2024 12:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:32:26.400704
• Title: SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions
• Title（参考訳）: SeqProFT: シーケンスのみのタンパク質特性予測にLoRAファインタニングを適用する
• Authors: Shuo Zhang, Jian K. Liu,
• Abstract要約: 本研究では,ESM-2モデルのエンド・ツー・エンドの微調整を行うためにLoRA法を用いる。 下流ネットワークにマルチヘッドアテンション機構を統合して、シーケンス特徴とコンタクトマップ情報を組み合わせる。
• 参考スコア（独自算出の注目度）: 8.112057136324431
• License:
• Abstract: Protein language models (PLMs) are capable of learning the relationships between protein sequences and functions by treating amino acid sequences as textual data in a self-supervised manner. However, fine-tuning these models typically demands substantial computational resources and time, with results that may not always be optimized for specific tasks. To overcome these challenges, this study employs the LoRA method to perform end-to-end fine-tuning of the ESM-2 model specifically for protein property prediction tasks, utilizing only sequence information. Additionally, a multi-head attention mechanism is integrated into the downstream network to combine sequence features with contact map information, thereby enhancing the model's comprehension of protein sequences. Experimental results of extensive classification and regression tasks demonstrate that the fine-tuned model achieves strong performance and faster convergence across multiple regression and classification tasks.
• Abstract（参考訳）: タンパク質言語モデル(PLM)は、アミノ酸配列をテキストデータとして自己管理的に扱うことにより、タンパク質配列と機能の関係を学習することができる。 しかし、これらのモデルを微調整するには、典型的にはかなりの計算資源と時間が必要であり、必ずしも特定のタスクに最適化されるとは限らない。 これらの課題を克服するため,本研究では,配列情報のみを用いてESM-2モデルをエンド・ツー・エンドで微調整するためにLoRA法を用いている。 さらに、下流ネットワークにマルチヘッドアテンション機構を組み込んで、シーケンス特徴とコンタクトマップ情報を組み合わせることにより、タンパク質配列のモデルの理解を深める。 広範囲な分類タスクと回帰タスクの実験結果は、微調整されたモデルが、複数の回帰タスクと分類タスクにまたがる強力な性能とより高速な収束を実現することを示す。

関連論文リスト

• MeToken: Uniform Micro-environment Token Boosts Post-Translational Modification Prediction [65.33218256339151]
  翻訳後修飾(PTM)はプロテオームの複雑さと機能を大幅に拡張する。 既存の計算手法は主に、配列依存的なモチーフの認識によって引き起こされる、PTM部位を予測するタンパク質配列に焦点を当てている。 本稿では,各酸のマイクロ環境をトークン化し,シーケンス情報と構造情報を統一された離散トークンに統合するMeTokenモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-04T07:14:28Z)
• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• DeepGATGO: A Hierarchical Pretraining-Based Graph-Attention Model for Automatic Protein Function Prediction [4.608328575930055]
  自動タンパク質機能予測(AFP)は大規模多ラベル分類問題に分類される。 現在、一般的な手法は主にタンパク質関連情報と遺伝子オントロジー(GO)の用語を組み合わせて、最終的な機能予測を生成する。 本稿では,タンパク質配列とGO項ラベルを階層的に処理するシークエンスベースの階層予測手法であるDeepGATGOを提案する。
  論文  参考訳（メタデータ） (2023-07-24T07:01:32Z)
• Retrieved Sequence Augmentation for Protein Representation Learning [40.13920287967866]
  本稿では,タンパク質表現学習のための検索シーケンス拡張について,アライメントや前処理を伴わずに導入する。 本モデルでは,新しいタンパク質ドメインに移行し,デノボタンパク質の予測においてMSAトランスフォーマーより優れていることを示す。 我々の研究はタンパク質の予測における大きなギャップを埋め、タンパク質配列を理解するのに必要なドメイン知識の解読に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-24T10:31:45Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)
• Profile Prediction: An Alignment-Based Pre-Training Task for Protein Sequence Models [11.483725773928382]
  タンパク質予測に対する最近のディープラーニングアプローチは、ラベルなしデータによる事前学習が下流タスクに有用な表現をもたらすことを示している。 我々は、複数の配列アライメントから導かれるタンパク質プロファイルを直接予測する、新しい事前学習タスクを導入する。 以上の結果から, タンパク質配列モデルが生物学的に誘発される誘導バイアスの活用の恩恵を受ける可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-01T01:01:34Z)
• Interpretable Structured Learning with Sparse Gated Sequence Encoder for Protein-Protein Interaction Prediction [2.9488233765621295]
  アミノ酸配列から情報表現を学習することでタンパク質-タンパク質相互作用(PPI)を予測することは、生物学において難しいが重要な問題である。 我々は、シーケンスのみからPPIをモデル化し、予測するための新しいディープフレームワークを提案する。 本モデルでは,シーケンスからコンテキスト化およびシーケンシャル情報を活用することによってシーケンス表現を学習するための双方向ゲート再帰ユニットを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T17:13:32Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。