論文の概要: Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations

• arxiv url: http://arxiv.org/abs/2505.20052v1
• Date: Mon, 26 May 2025 14:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.51924
• Title: Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations
• Title（参考訳）: Ankh3: シークエンスによるマルチタスクプレトレーニングとコンプリートによりタンパク質表現が促進される
• Authors: Hazem Alsamkary, Mohamed Elshaffei, Mohamed Elkerdawy, Ahmed Elnaggar,
• Abstract要約: タンパク質言語モデル(PLM)は、タンパク質配列の複雑なパターンを検出する強力なツールとして登場した。 PLMのマルチタスク事前学習戦略について検討した。 このマルチタスク事前学習は、PLMがタンパク質配列のみからよりリッチでより一般化可能な表現を学習できることを実証した。
• 参考スコア（独自算出の注目度）: 0.3124884279860061
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Protein language models (PLMs) have emerged as powerful tools to detect complex patterns of protein sequences. However, the capability of PLMs to fully capture information on protein sequences might be limited by focusing on single pre-training tasks. Although adding data modalities or supervised objectives can improve the performance of PLMs, pre-training often remains focused on denoising corrupted sequences. To push the boundaries of PLMs, our research investigated a multi-task pre-training strategy. We developed Ankh3, a model jointly optimized on two objectives: masked language modeling with multiple masking probabilities and protein sequence completion relying only on protein sequences as input. This multi-task pre-training demonstrated that PLMs can learn richer and more generalizable representations solely from protein sequences. The results demonstrated improved performance in downstream tasks, such as secondary structure prediction, fluorescence, GB1 fitness, and contact prediction. The integration of multiple tasks gave the model a more comprehensive understanding of protein properties, leading to more robust and accurate predictions.
• Abstract（参考訳）: タンパク質言語モデル(PLM)は、タンパク質配列の複雑なパターンを検出する強力なツールとして登場した。 しかしながら、PLMがタンパク質配列に関する情報を完全に取得する能力は、単一の事前学習タスクに集中することによって制限される可能性がある。 データモダリティや教師付き目的を加えることで、PLMの性能が向上するが、事前学習は、しばしば、劣化したシーケンスの認知に重点を置いている。 PLMの境界を推し進めるために,本研究ではマルチタスク事前学習戦略について検討した。 我々は,複数のマスキング確率を持つマスク言語モデリングと,入力としてタンパク質配列のみに依存するタンパク質配列完了という,2つの目的に共同最適化されたモデルAnkh3を開発した。 このマルチタスク事前学習は、PLMがタンパク質配列のみからよりリッチでより一般化可能な表現を学習できることを実証した。 その結果, 二次構造予測, 蛍光, GB1適合性, 接触予測などの下流タスクの性能が向上した。 複数のタスクの統合により、モデルがタンパク質の性質をより包括的に理解し、より堅牢で正確な予測へと繋がった。

関連論文リスト

• Computational Protein Science in the Era of Large Language Models (LLMs) [54.35488233989787]
  計算タンパク質科学(Computational protein science)は、タンパク質配列構造-機能パラダイムにおける知識を明らかにすること、および応用を開発することを目的としている。 最近、言語モデル (Language Models, PLM) は、前例のない言語処理と一般化能力のために、AIのマイルストーンとして登場した。
  論文  参考訳（メタデータ） (2025-01-17T16:21:18Z)
• SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions [8.112057136324431]
  本研究では,ESM-2モデルのエンド・ツー・エンドの微調整を行うためにLoRA法を用いる。 下流ネットワークにマルチヘッドアテンション機構を統合して、シーケンス特徴とコンタクトマップ情報を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-18T12:40:39Z)
• Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
  本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。 まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。 プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:57:56Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• Retrieved Sequence Augmentation for Protein Representation Learning [40.13920287967866]
  本稿では,タンパク質表現学習のための検索シーケンス拡張について,アライメントや前処理を伴わずに導入する。 本モデルでは,新しいタンパク質ドメインに移行し,デノボタンパク質の予測においてMSAトランスフォーマーより優れていることを示す。 我々の研究はタンパク質の予測における大きなギャップを埋め、タンパク質配列を理解するのに必要なドメイン知識の解読に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-24T10:31:45Z)
• ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts [22.870765825298268]
  タンパク質配列を拡大するProtSTデータセットを構築し,その機能や重要な特性をテキストで記述する。 事前学習中に、単調マスク予測、マルチモーダル表現アライメント、マルチモーダルマスク予測という3種類のタスクを設計する。 下流タスクでは、ProtSTは教師付き学習とゼロショット予測の両方を可能にする。
  論文  参考訳（メタデータ） (2023-01-28T00:58:48Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)
• Profile Prediction: An Alignment-Based Pre-Training Task for Protein Sequence Models [11.483725773928382]
  タンパク質予測に対する最近のディープラーニングアプローチは、ラベルなしデータによる事前学習が下流タスクに有用な表現をもたらすことを示している。 我々は、複数の配列アライメントから導かれるタンパク質プロファイルを直接予測する、新しい事前学習タスクを導入する。 以上の結果から, タンパク質配列モデルが生物学的に誘発される誘導バイアスの活用の恩恵を受ける可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-01T01:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。