論文の概要: InstructPLM-mu: 1-Hour Fine-Tuning of ESM2 Beats ESM3 in Protein Mutation Predictions
- arxiv url: http://arxiv.org/abs/2510.03370v1
- Date: Fri, 03 Oct 2025 07:42:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:58.940786
- Title: InstructPLM-mu: 1-Hour Fine-Tuning of ESM2 Beats ESM3 in Protein Mutation Predictions
- Title（参考訳）: InstructPLM-mu: タンパク質変異予測におけるESM2のESM3の1時間微細調整
- Authors: Junde Xu, Yapin Shi, Lijun Lang, Taoyong Cui, Zhiming Zhang, Guangyong Chen, Jiezhong Qiu, Pheng-Ann Heng,
- Abstract要約: InstructPLM-muと呼ばれる微調整フレームワークを提案する。
構造入力を持つ細調整ESM2はESM3に匹敵する性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 54.19843038028329
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal protein language models deliver strong performance on mutation-effect prediction, but training such models from scratch demands substantial computational resources. In this paper, we propose a fine-tuning framework called InstructPLM-mu and try to answer a question: \textit{Can multimodal fine-tuning of a pretrained, sequence-only protein language model match the performance of models trained end-to-end? } Surprisingly, our experiments show that fine-tuning ESM2 with structural inputs can reach performance comparable to ESM3. To understand how this is achieved, we systematically compare three different feature-fusion designs and fine-tuning recipes. Our results reveal that both the fusion method and the tuning strategy strongly affect final accuracy, indicating that the fine-tuning process is not trivial. We hope this work offers practical guidance for injecting structure into pretrained protein language models and motivates further research on better fusion mechanisms and fine-tuning protocols.
- Abstract（参考訳）: マルチモーダルタンパク質言語モデルは突然変異効果予測に強い性能をもたらすが、そのようなモデルをスクラッチから訓練するにはかなりの計算資源が必要である。
本稿では、InstructPLM-muと呼ばれる微調整フレームワークを提案し、次のような質問に答える: \textit{Can multimodal fine-tuning of a pretrained, sequence-only protein language model with the performance of model of end-to-end?
意外なことに,構造入力を持つ細調整ESM2はESM3に匹敵する性能に達する可能性がある。
これをどう実現するかを理解するため、3つの異なる機能融合設計と微調整レシピを体系的に比較する。
その結果, 融合法とチューニング戦略の両者が最終精度に強く影響を与え, 微調整プロセスは自明ではないことが明らかとなった。
この研究は、事前訓練されたタンパク質言語モデルに構造を注入するための実践的なガイダンスを提供し、より良い融合機構と微調整プロトコルに関するさらなる研究を動機付けることを願っている。
関連論文リスト
- Understanding protein function with a multimodal retrieval-augmented foundation model [4.281723404774888]
PoET-2は、家族固有の進化的制約の文脈内学習を取り入れた検索強化タンパク質基盤モデルである。
PoET-2はゼロショット変動効果予測において最先端の性能を達成する。
論文 参考訳（メタデータ） (2025-08-05T15:11:25Z) - SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions [8.112057136324431]
本研究では,ESM-2モデルのエンド・ツー・エンドの微調整を行うためにLoRA法を用いる。
下流ネットワークにマルチヘッドアテンション機構を統合して、シーケンス特徴とコンタクトマップ情報を組み合わせる。
論文 参考訳（メタデータ） (2024-11-18T12:40:39Z) - Structure Language Models for Protein Conformation Generation [66.42864253026053]
伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。
深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。
本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
論文 参考訳（メタデータ） (2024-10-24T03:38:51Z) - xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。
xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。
また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文 参考訳（メタデータ） (2024-01-11T15:03:17Z) - Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting
Pre-trained Language Models [22.977852629450346]
本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。
本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。
実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-24T23:29:06Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳（メタデータ） (2023-05-24T04:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。