論文の概要: The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models

• arxiv url: http://arxiv.org/abs/2610.26651v1
• Date: Mon, 19 Oct 2026 16:08:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:15:25.304055
• Title: The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
• Title（参考訳）: タンパク質言語モデルにおける事前学習データフィルタリングの有効性と耐久性
• Abstract要約: 事前フィルタリングは、オープンウェイト言語モデルの最も一般的なセーフガードの1つである。 タンパク質言語モデルのESM-2ファミリを用いて,その有効性,耐久性,拡張性について検討する。
• 参考スコア（独自算出の注目度）: 30.413135631885783
• License:
• Abstract: Pretraining filtering is one of the most common safeguards for open-weight language models. Here we study its effectiveness, durability and scalability using the ESM-2 family of protein language models. We find that filtering viral proteins from the pretraining data meaningfully degrades masked language modelling, mutation effect prediction and long-range contact prediction on viral proteins, while largely preserving performance on non-viral proteins. These effects are concentrated among proteins from human-infecting viruses, and grow as we scale models from 8M to 3B parameters. As models increase in size, we find that stringent filtering becomes more effective. However, fine-tuning on sequences from the removed viral families restores the lost performance. Although the cost to recover performance increases with model scale, even for the largest models it costs about 80 USD of H100 time. This work establishes pretraining filtering as moderately effective at selectively degrading performance on viral proteins, but not durable against fine-tuning with modest computational resources and access to relevant data.
• Abstract（参考訳）: 事前フィルタリングは、オープンウェイト言語モデルの最も一般的なセーフガードの1つである。 本稿では、ESM-2ファミリーのタンパク質言語モデルを用いて、その有効性、耐久性、拡張性について検討する。 プレトレーニングデータからウイルスタンパク質をフィルタリングすることで、非ウイルスタンパク質の性能を保ちながら、マスク付き言語モデリング、突然変異効果予測、長期接触予測を有意に低下させることが判明した。 これらの効果は、ヒト感染ウイルスのタンパク質に集中し、モデルが8Mから3Bパラメータにスケールするにつれて成長する。 モデルのサイズが大きくなるにつれて、厳密なフィルタリングがより効果的になる。 しかし、除去されたウイルスファミリーの配列の微調整は、失われたパフォーマンスを回復させる。 モデルスケールで性能を回復するコストは増加するが、最大のモデルであっても80USドル程度のH100時間を要する。 この研究は、プリトレーニングフィルタリングがウイルスタンパク質の性能を選択的に劣化させるのに適度に有効であるが、控えめな計算資源による微調整や関連するデータへのアクセスには耐えられないことを証明している。

関連論文リスト

• Self Distillation Fine-Tuning of Protein Language Models Improves Versatility in Protein Design [61.2846583160056]
  Supervised Fine-tuning (SFT) は、大規模言語モデルを特殊なドメインに適応するための標準的なアプローチである。 これは、高品質なアノテートされたデータは、自然言語よりもタンパク質の入手がはるかに難しいためである。 生成したタンパク質配列の忠実度,信頼性,新規性を改善するために設計された,PLMの高速SFTのための簡易かつ汎用的なレシピを提案する。
  論文  参考訳（メタデータ） (2025-12-10T05:34:47Z)
• ProteinZero: Self-Improving Protein Generation via Online Reinforcement Learning [49.2607661375311]
  本稿では,逆折り畳みモデルの計算的拡張性,自動化,継続的な自己改善を可能にする新しいフレームワークであるProteinZeroを提案する。 ProteinZeroは、タンパク質設計のすべての主要な指標において、既存の手法を大幅に上回っている。 特に、CATH-4.3上で実行されるRL全体は、報酬を含む3日以内に1つの8X GPUノードで実行できる。
  論文  参考訳（メタデータ） (2025-06-09T06:08:59Z)
• Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout [8.121681696358717]
  そこで本研究では,ProteinGymデータセットのサブセットにおいて,プロデューサ/エンベディング層とそのトランスフォーマー間の推論時間にドロップアウト層を注入することにより,ゼロショット性能が向上することを示す。 0.1のドロップアウトは、すべてのモデルでパフォーマンスが向上しているようだ。
  論文  参考訳（メタデータ） (2025-05-31T17:16:59Z)
• Energy Efficient Protein Language Models: Leveraging Small Language Models with LoRA for Controllable Protein Generation [1.041213135652454]
  制御不能なタンパク質生成と制御不能なタンパク質生成の両方が可能な2つの小さなタンパク質言語モデルを導入する。 制御不能な生成タスクに対しては,pLDDTの平均スコア69.75を達成し,実行可能なタンパク質構造の生成において堅牢な性能を示す。 また,エネルギー効率の高いET-SoC-1チップへのモデル展開を実証し,TPS/Wを3。
  論文  参考訳（メタデータ） (2024-11-08T20:52:06Z)
• Training Compute-Optimal Protein Language Models [48.79416103951816]
  ほとんどのタンパク質言語モデルは、パフォーマンスが高くなるまで広範囲の計算資源で訓練されている。 調査は、9億3900万のタンパク質配列からなる膨大なデータセットに基づいて行われた。 私たちは、350万から107億のパラメータから5から200億のユニークなトークンまで、300以上のモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-11-04T14:58:37Z)
• One protein is all you need [17.551862138613405]
  トレーニングデータ以外の一般化は、生物学における機械学習における中心的な課題である。 タンパク質テストタイムトレーニング(ProteinTTT)法は,異なるモデル,サイズ,データセット間の一般化を一貫して促進することを示す。
  論文  参考訳（メタデータ） (2024-11-04T14:23:59Z)
• Efficiently Predicting Mutational Effect on Homologous Proteins by Evolution Encoding [7.067145619709089]
  EvolMPNNは進化を意識したタンパク質の埋め込みを学習するための効率的なモデルである。 我々のモデルは最先端の手法よりも最大6.4%向上し,36倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-02-20T23:06:21Z)
• Efficiently Predicting Protein Stability Changes Upon Single-point Mutation with Large Language Models [51.57843608615827]
  タンパク質の熱安定性を正確に予測する能力は、様々なサブフィールドや生化学への応用において重要である。 タンパク質配列と構造的特徴を統合したESMによる効率的なアプローチを導入し, 単一点突然変異によるタンパク質の熱安定性変化を予測する。
  論文  参考訳（メタデータ） (2023-12-07T03:25:49Z)
• Ankh: Optimized Protein Language Model Unlocks General-Purpose Modelling [0.0]
  GoogleのTPU-v4でトレーニングされた最初の汎用タンパク言語モデルであるAnkhを紹介します。 アンクは、タンパク質の進化保存変異の傾向を学習し、重要な構造-機能的特性を維持しながら機能的多様性を導入することに成功している。
  論文  参考訳（メタデータ） (2023-01-16T19:04:45Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。