論文の概要: ProteinBench: A Holistic Evaluation of Protein Foundation Models
- arxiv url: http://arxiv.org/abs/2409.06744v2
- Date: Mon, 7 Oct 2024 08:20:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 22:05:05.600923
- Title: ProteinBench: A Holistic Evaluation of Protein Foundation Models
- Title（参考訳）: ProteinBench: タンパク質基盤モデルの全体的評価
- Authors: Fei Ye, Zaixiang Zheng, Dongyu Xue, Yuning Shen, Lihao Wang, Yiming Ma, Yan Wang, Xinyou Wang, Xiangxin Zhou, Quanquan Gu,
- Abstract要約: 本稿では,タンパク質基盤モデルのための総合評価フレームワークであるProteinBenchを紹介する。
本研究のアプローチは, タンパク質ドメインにおける課題を包括的に包括するタスクの分類学的分類, (ii) 品質, 新規性, 多様性, 堅牢性, および (iii) 様々なユーザ目標から詳細な分析を行い, モデルパフォーマンスの全体的視点を提供する,4つの重要な側面にわたるパフォーマンスを評価するマルチメトリック評価アプローチからなる。
- 参考スコア（独自算出の注目度）: 53.59325047872512
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.
- Abstract（参考訳）: 近年、タンパク質基盤モデルの開発が急増し、タンパク質の予測性能が大幅に向上し、3次元構造予測やタンパク質設計からコンフォメーションダイナミクスまで、生成タスクが大幅に改善されている。
しかしながら、これらのモデルに関連する機能や制限は、統一された評価フレームワークが存在しないため、よく理解されていない。
このギャップを埋めるために,タンパク質基盤モデルの透明性を高めるために設計された総合評価フレームワークであるProteinBenchを紹介する。
私たちのアプローチは3つの重要なコンポーネントで構成されています。
一 異なるタンパク質モダリティ間の関係に基づいて、タンパク質ドメインの主要な課題を幅広く包含するタスクの分類分類
(二)品質、ノベルティ、多様性、堅牢性の四つの重要な側面におけるパフォーマンスを評価する多段階評価アプローチ
三 様々なユーザ目標から詳細な分析を行い、モデル性能の全体像を提供する。
タンパク質基盤モデルの包括的評価は、その機能と限界に光を当てたいくつかの重要な発見を示す。
透明性を促進し,さらなる研究を促進するために,評価データセット,コード,公開リーダボードを公開して,さらなる分析と汎用的なモジュラーツールキットを提案する。
我々は、タンパク質基盤モデルのための標準化された詳細な評価フレームワークを確立し、その開発と応用を推進し、分野内のコラボレーションを育むための生きたベンチマークとして、ProteinBenchを目標としています。
関連論文リスト
- SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
タンパク質基盤モデルのための新しい事前学習戦略を導入する。
アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。
大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
論文 参考訳（メタデータ） (2024-10-31T15:22:03Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Progressive Multi-Modality Learning for Inverse Protein Folding [47.095862120116976]
マルチモーダルトランスファー学習を利用するMMDesignと呼ばれる新しいタンパク質設計パラダイムを提案する。
MMDesignは、事前訓練された構造モジュールと事前訓練されたコンテキストモジュールを組み合わせる最初のフレームワークである。
実験結果は、小さなデータセットでのみトレーニングした結果、MMDesignが様々な公開ベンチマークのベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-12-11T10:59:23Z) - Target-aware Variational Auto-encoders for Ligand Generation with
Multimodal Protein Representation Learning [2.01243755755303]
ターゲット認識型自動エンコーダであるTargetVAEを導入し、任意のタンパク質標的に対する高い結合親和性で生成する。
これは、タンパク質の異なる表現を単一のモデルに統一する最初の試みであり、これは我々がタンパク質マルチモーダルネットワーク(PMN)と呼ぶ。
論文 参考訳（メタデータ） (2023-08-02T12:08:17Z) - Solvent: A Framework for Protein Folding [0.39373541926236766]
AlphaFold2の後、タンパク質の折り畳みタスクは新しい段階に入り、AlphaFold2の構成要素に基づいて多くの方法が提案されている。
タンパク質の折り畳みにおける統一された研究フレームワークの重要性は、様々なアプローチを一貫して、公平に比較するための実装とベンチマークを含んでいる。
本稿では,タンパク質の折りたたみ構造である溶剤について述べる。
論文 参考訳（メタデータ） (2023-07-07T09:01:42Z) - Geometric Deep Learning for Structure-Based Drug Design: A Survey [83.87489798671155]
構造に基づく薬物設計(SBDD)は、タンパク質の3次元幾何学を利用して、潜在的な薬物候補を特定する。
近年の幾何学的深層学習の進歩は、3次元幾何学的データを効果的に統合・処理し、この分野を前進させてきた。
論文 参考訳（メタデータ） (2023-06-20T14:21:58Z) - Integration of Pre-trained Protein Language Models into Geometric Deep
Learning Networks [68.90692290665648]
我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。
以上の結果から,ベースラインを20%上回る総合的な改善が見られた。
強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
論文 参考訳（メタデータ） (2022-12-07T04:04:04Z) - PDBench: Evaluating Computational Methods for Protein Sequence Design [2.0187324832551385]
本稿では, タンパク質のベンチマークを行い, 深層学習法の性能評価試験を提案する。
我々の堅牢なベンチマークは、その性能と実用性を評価するのに欠かせない設計手法の振る舞いに関する生物学的知見を提供する。
論文 参考訳（メタデータ） (2021-09-16T12:20:03Z) - Protein model quality assessment using rotation-equivariant,
hierarchical neural networks [8.373439916313018]
本稿では,タンパク質モデルの品質を評価するための新しい深層学習手法を提案する。
提案手法は,最近のCASPラウンドに投入されたタンパク質モデルを評価することによって,最先端の成果を得る。
論文 参考訳（メタデータ） (2020-11-27T05:03:53Z) - Energy-based models for atomic-resolution protein conformations [88.68597850243138]
原子スケールで動作するタンパク質コンホメーションのエネルギーモデル(EBM)を提案する。
このモデルは、結晶化されたタンパク質のデータにのみ訓練されている。
モデル出力と隠された表現の研究により、タンパク質エネルギーに関連する物理化学的性質を捉えることが判明した。
論文 参考訳（メタデータ） (2020-04-27T20:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。