論文の概要: Exploring Large Protein Language Models in Constrained Evaluation Scenarios within the FLIP Benchmark

• arxiv url: http://arxiv.org/abs/2501.18223v1
• Date: Thu, 30 Jan 2025 09:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:45.495248
• Title: Exploring Large Protein Language Models in Constrained Evaluation Scenarios within the FLIP Benchmark
• Title（参考訳）: FLIPベンチマークにおける制約付き評価シナリオにおける大規模タンパク質言語モデルの探索
• Authors: Manuel F. Mollon, Joaquin Gonzalez-Rodriguez, Alicia Lozano-Diez, Daniel Ramos, Doroteo T. Toledano,
• Abstract要約: 我々は、タンパク質の適合性予測モデルを評価するためのFLIPベンチマークを、小型で特殊な予測タスクで拡張する。 FLIPデータセット上でESM-2とSaProtを含む最先端の大規模タンパク質言語モデルの性能を評価する。 本研究は,タンパク質予測タスクにおける大規模モデルの性能に関する貴重な知見を提供する。
• 参考スコア（独自算出の注目度）: 1.7446273568461808
• License:
• Abstract: In this study, we expand upon the FLIP benchmark-designed for evaluating protein fitness prediction models in small, specialized prediction tasks-by assessing the performance of state-of-the-art large protein language models, including ESM-2 and SaProt on the FLIP dataset. Unlike larger, more diverse benchmarks such as ProteinGym, which cover a broad spectrum of tasks, FLIP focuses on constrained settings where data availability is limited. This makes it an ideal framework to evaluate model performance in scenarios with scarce task-specific data. We investigate whether recent advances in protein language models lead to significant improvements in such settings. Our findings provide valuable insights into the performance of large-scale models in specialized protein prediction tasks.
• Abstract（参考訳）: 本研究では、FLIPデータセット上でのESM-2やSaProtを含む最先端の大規模タンパク質言語モデルの性能を評価することにより、タンパク質の適合性予測モデルを評価するためのFLIPベンチマークをさらに拡張する。 幅広いタスクをカバーしているProteinGymのような大規模で多様なベンチマークとは異なり、FLIPはデータの可用性に制限のある設定に重点を置いている。 これにより、タスク固有のデータが少ないシナリオでモデルパフォーマンスを評価するのに理想的なフレームワークになります。 近年のタンパク質言語モデルの進歩が,このような設定の大幅な改善に繋がるかどうかを考察する。 本研究は,タンパク質予測タスクにおける大規模モデルの性能に関する貴重な知見を提供する。

関連論文リスト

• SeqProFT: Applying LoRA Finetuning for Sequence-only Protein Property Predictions [8.112057136324431]
  本研究では,ESM-2モデルのエンド・ツー・エンドの微調整を行うためにLoRA法を用いる。 下流ネットワークにマルチヘッドアテンション機構を統合して、シーケンス特徴とコンタクトマップ情報を組み合わせる。
  論文  参考訳（メタデータ） (2024-11-18T12:40:39Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Metalic: Meta-Learning In-Context with Protein Language Models [5.868595531658237]
  このような予測タスクの有望なテクニックとして機械学習が登場した。 データ不足のため、私たちはメタラーニングがタンパク質工学の進歩に重要な役割を果たすと信じています。
  論文  参考訳（メタデータ） (2024-10-10T20:19:35Z)
• ProteinBench: A Holistic Evaluation of Protein Foundation Models [53.59325047872512]
  本稿では,タンパク質基盤モデルのための総合評価フレームワークであるProteinBenchを紹介する。 本研究のアプローチは, タンパク質ドメインにおける課題を包括的に包括するタスクの分類学的分類, (ii) 品質, 新規性, 多様性, 堅牢性, および (iii) 様々なユーザ目標から詳細な分析を行い, モデルパフォーマンスの全体的視点を提供する,4つの重要な側面にわたるパフォーマンスを評価するマルチメトリック評価アプローチからなる。
  論文  参考訳（メタデータ） (2024-09-10T06:52:33Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [14.526536510805755]
  本稿では,この急速に発展する分野におけるベンチマークの標準化を目的として,単一細胞における摂動の影響を予測するための包括的なフレームワークを提案する。 当社のフレームワークであるPerturBenchには、ユーザフレンドリなプラットフォーム、多様なデータセット、フェアモデル比較のためのメトリクス、詳細なパフォーマンス分析が含まれています。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• A Pipeline for Data-Driven Learning of Topological Features with Applications to Protein Stability Prediction [0.0]
  生体分子データの解釈可能なトポロジ的特徴を学習するためのデータ駆動手法を提案する。 我々は、自動学習された構造的特徴を利用するモデルと、サブジェクト・マッター・エキスパート(SME)によって決定された大規模生物物理学的特徴に基づいて訓練されたモデルとを比較した。 本モデルでは,タンパク質構造のトポロジ的特徴のみに基づいて,SMEモデルの性能の92%～99%を平均精度スコアで達成した。
  論文  参考訳（メタデータ） (2024-08-09T03:52:27Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Ankh: Optimized Protein Language Model Unlocks General-Purpose Modelling [0.0]
  GoogleのTPU-v4でトレーニングされた最初の汎用タンパク言語モデルであるAnkhを紹介します。 アンクは、タンパク質の進化保存変異の傾向を学習し、重要な構造-機能的特性を維持しながら機能的多様性を導入することに成功している。
  論文  参考訳（メタデータ） (2023-01-16T19:04:45Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。