論文の概要: ProtDBench: A Unified Benchmark of Protein Binder Design and Evaluation
- arxiv url: http://arxiv.org/abs/2605.04118v1
- Date: Tue, 05 May 2026 11:48:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.450096
- Title: ProtDBench: A Unified Benchmark of Protein Binder Design and Evaluation
- Title（参考訳）: ProtDBench: タンパク質結合設計と評価の統一ベンチマーク
- Authors: Cong Liu, Milong Ren, Jiaqi Guan, Chengyue Gong, Jinyuan Sun, Xinshi Chen, Wenzhi Xiao,
- Abstract要約: 本稿では,タンパク質結合体設計のための標準化およびスループットを考慮した評価フレームワークであるProtDBenchを紹介する。
ProtDBenchは、統一されたベンチマークタスク、評価プロトコル、成功基準を定義し、評価設計が観察されたパフォーマンスに与える影響の体系的な分析を可能にする。
- 参考スコア（独自算出の注目度）: 22.919793519533957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in de novo protein binder design have enabled increasing experimental validation, yet reported in silico metrics remain difficult to interpret or compare across studies due to non-standardized evaluation protocols. We introduce ProtDBench, a standardized and throughput-aware evaluation framework for protein binder design. ProtDBench defines unified benchmark tasks, evaluation protocols, and success criteria, enabling systematic analysis of how evaluation design influences observed performance. Using a large wet-lab annotated dataset, we analyze commonly used structure prediction models as evaluation verifiers, revealing substantial verifier-dependent bias and limited agreement under identical filtering protocols. We then benchmark representative open-source generative binder design methods across ten diverse protein targets under a fixed evaluation protocol. Beyond per-sequence success rates, ProtDBench incorporates throughput-aware metrics based on a fixed 24-hour budget, as well as cluster-level success criteria to account for structural diversity. Together, these results expose systematic differences induced by filtering rules, success definitions, and throughput-aware evaluation between computational efficiency, success rate, and structural diversity. Overall, ProtDBench provides a fair and reproducible evaluation pipeline that supports systematic and controlled comparison of protein binder design methods under realistic evaluation settings.
- Abstract（参考訳）: デノボタンパク質バインダーの設計の最近の進歩により、実験的な検証が可能になったが、シリコ測定では、非標準化評価プロトコルによる研究の解釈や比較が困難であることが報告されている。
本稿では,タンパク質結合体設計のための標準化およびスループットを考慮した評価フレームワークであるProtDBenchを紹介する。
ProtDBenchは、統一されたベンチマークタスク、評価プロトコル、成功基準を定義し、評価設計が観察されたパフォーマンスに与える影響の体系的な分析を可能にする。
湿式アノテートデータセットを用いて、一般的な構造予測モデルを評価検証として分析し、有意な検証者依存バイアスと同一のフィルタリングプロトコル下での限定一致を明らかにした。
次に,固定評価プロトコルの下で,10種類のタンパク質標的に対するオープンソース生成バインダー設計手法のベンチマークを行った。
シーケンス毎の成功率以外にも、ProtDBenchでは、24時間予算の固定に基づくスループット対応メトリクスと、クラスタレベルの成功基準を取り入れて、構造的な多様性を判断する。
これらの結果から, フィルタ規則, 成功定義, スループットを考慮した計算効率, 成功率, 構造多様性の体系的差異が明らかになった。
全体として、ProtDBenchは公正かつ再現可能な評価パイプラインを提供し、現実的な評価設定の下でタンパク質バインダー設計手法の体系的および制御的な比較をサポートする。
関連論文リスト
- PepSpecBench: A Unified Evaluation Benchmark for Peptide Tandem Mass Spectrometry Prediction [17.33669468355787]
PepSpecBenchはペプチドMS/MSスペクトル予測のための統一ベンチマークである。
補完的な公開データセット間でのデータ前処理を標準化する。
また、シークエンスリークをなくすための厳格なバックボーン結合分割戦略も実施している。
論文 参考訳（メタデータ） (2026-05-03T16:11:27Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - Procrustean Bed for AI-Driven Retrosynthesis: A Unified Framework for Reproducible Evaluation [0.0]
RetroCastは、異種モデルの出力を共通スキーマに標準化する統合評価スイートである。
我々は、新しい標準ベンチマークスイートを用いて、検索ベースおよびシーケンスベースの主要なアルゴリズムを評価する。
論文 参考訳（メタデータ） (2025-12-08T01:26:39Z) - PDFBench: A Benchmark for De novo Protein Design from Function [18.373430158468874]
PDFBenchは、関数誘導デノボタンパク質設計のための最初の包括的なベンチマークである。
本ベンチマークでは,2つのキー設定の16のメトリクスに対して,8つの最先端モデルを体系的に評価する。
論文 参考訳（メタデータ） (2025-05-25T05:40:15Z) - Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework [0.4874819476581695]
合成データの品質を評価することは、データ駆動リサーチにおけるプライバシとユーティリティを確保する上で、依然として重要な課題である。
本稿では,プライバシを確保しつつ,合成データが元の分布特性をいかにうまく再現するかを定量化するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-02T17:10:30Z) - Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。
従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。
本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
論文 参考訳（メタデータ） (2025-02-26T06:31:45Z) - A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - PDB-Struct: A Comprehensive Benchmark for Structure-based Protein Design [19.324059406159325]
我々は、リフォールダビリティベースのメトリクスと安定性ベースのメトリクスの2つの新しい指標を紹介した。
ByProt、ProteinMPNN、ESM-IFはベンチマークで非常によく機能しますが、ESM-DesignとAF-Designは不足しています。
提案するベンチマークは,タンパク質設計手法の公平かつ包括的な評価方法である。
論文 参考訳（メタデータ） (2023-11-30T02:37:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。