論文の概要: Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout

• arxiv url: http://arxiv.org/abs/2506.14793v1
• Date: Sat, 31 May 2025 17:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.680402
• Title: Protein Language Model Zero-Shot Fitness Predictions are Improved by Inference-only Dropout
• Title（参考訳）: 推論のみのドロップアウトによるタンパク質言語モデルゼロショット適合度予測の改善
• Authors: Aditya Ravuri, Neil D. Lawrence,
• Abstract要約: そこで本研究では,ProteinGymデータセットのサブセットにおいて,プロデューサ/エンベディング層とそのトランスフォーマー間の推論時間にドロップアウト層を注入することにより,ゼロショット性能が向上することを示す。 0.1のドロップアウトは、すべてのモデルでパフォーマンスが向上しているようだ。
• 参考スコア（独自算出の注目度）: 8.121681696358717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Protein Language Models (PLMs) such as ESM2 have been shown to be capable of zero-shot prediction of critical scalar properties of proteins (fitness). In this work, we show that injecting a dropout layer at inference time between a PLM's featurizer/embedding layer and its transformer, and averaging its output akin to Monte-Carlo dropout increases zero-shot performance on a subset of the ProteinGym dataset. This is the case even when the model was not trained with dropouts to begin with, and does not require retraining or finetuning of the PLM. A dropout of 0.1 seems performant across all models.
• Abstract（参考訳）: ESM2のようなタンパク質言語モデル(PLM)は、タンパク質の臨界スカラー特性(適合性)をゼロショットで予測できることが示されている。 本研究では,PLMのプロデューサ/エンベディング層とトランスフォーマーとの推論時間でドロップアウト層を注入し,モンテカルロのドロップアウトと同様の出力を平均すると,ProteinGymデータセットのサブセット上でゼロショット性能が向上することを示す。 モデルが最初にドロップアウトでトレーニングされていなくても、PLMの再訓練や微調整は不要である。 0.1のドロップアウトは、すべてのモデルでパフォーマンスが向上しているようだ。

関連論文リスト

• Drop Dropout on Single-Epoch Language Model Pretraining [30.63248848082757]
  現代のLLMに共通する単一エポックな事前訓練タスクは、最小限のオーバーフィッティングをもたらす。 LMプレトレーニングにおけるドロップアウトの役割について、徹底的な実証研究は行われていない。 言語モデリング,モーコシンタクス(BLiMP),質問応答(SQuAD),自然言語推論(MNLI)のダウンストリーム性能は,事前トレーニング中にドロップアウトを適用しない場合に向上する。
  論文  参考訳（メタデータ） (2025-05-30T16:48:38Z)
• Energy Efficient Protein Language Models: Leveraging Small Language Models with LoRA for Controllable Protein Generation [1.041213135652454]
  制御不能なタンパク質生成と制御不能なタンパク質生成の両方が可能な2つの小さなタンパク質言語モデルを導入する。 制御不能な生成タスクに対しては,pLDDTの平均スコア69.75を達成し,実行可能なタンパク質構造の生成において堅牢な性能を示す。 また,エネルギー効率の高いET-SoC-1チップへのモデル展開を実証し,TPS/Wを3。
  論文  参考訳（メタデータ） (2024-11-08T20:52:06Z)
• Metalic: Meta-Learning In-Context with Protein Language Models [5.868595531658237]
  このような予測タスクの有望なテクニックとして機械学習が登場した。 データ不足のため、私たちはメタラーニングがタンパク質工学の進歩に重要な役割を果たすと信じています。
  論文  参考訳（メタデータ） (2024-10-10T20:19:35Z)
• Protein Discovery with Discrete Walk-Jump Sampling [41.01079393600248]
  我々はスムーズなエネルギー関数を学び、ランゲヴィン・マルコフ連鎖モンテカルロの滑らかなデータ多様体からサンプリングし、一段階のデノイングで真のデータ多様体に投影する。 我々の離散ウォーク・ジャンプサンプリング形式は、エネルギーベースモデルの対照的な分散訓練とスコアベースモデルのサンプル品質の改善を組み合わせたものである。 抗体タンパク質生成モデルにおける本手法のロバスト性を評価し, タンパク質生成モデルに分布整合性スコアを導入する。
  論文  参考訳（メタデータ） (2023-06-08T17:03:46Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
  ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。 金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:38:48Z)
• Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks [1.452875650827562]
  タンパク質配列の1%未満は構造的にも機能的にも注釈付けされている。 本稿では,結合タンパク質配列と非結合タンパク質配列を混合したRoBERTaモデルを提案する。 トランスフォーマーの注意機構は,タンパク質結合部位の発見に寄与することが示唆された。
  論文  参考訳（メタデータ） (2020-12-05T17:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。