論文の概要: ProtDBench: A Unified Benchmark of Protein Binder Design and Evaluation
- arxiv url: http://arxiv.org/abs/2605.04118v1
- Date: Tue, 05 May 2026 11:48:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.450096
- Title: ProtDBench: A Unified Benchmark of Protein Binder Design and Evaluation
- Title（参考訳）: ProtDBench: タンパク質結合設計と評価の統一ベンチマーク
- Abstract要約: 本稿では,タンパク質結合体設計のための標準化およびスループットを考慮した評価フレームワークであるProtDBenchを紹介する。
ProtDBenchは、統一されたベンチマークタスク、評価プロトコル、成功基準を定義し、評価設計が観察されたパフォーマンスに与える影響の体系的な分析を可能にする。
- 参考スコア（独自算出の注目度）: 22.919793519533957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in de novo protein binder design have enabled increasing experimental validation, yet reported in silico metrics remain difficult to interpret or compare across studies due to non-standardized evaluation protocols. We introduce ProtDBench, a standardized and throughput-aware evaluation framework for protein binder design. ProtDBench defines unified benchmark tasks, evaluation protocols, and success criteria, enabling systematic analysis of how evaluation design influences observed performance. Using a large wet-lab annotated dataset, we analyze commonly used structure prediction models as evaluation verifiers, revealing substantial verifier-dependent bias and limited agreement under identical filtering protocols. We then benchmark representative open-source generative binder design methods across ten diverse protein targets under a fixed evaluation protocol. Beyond per-sequence success rates, ProtDBench incorporates throughput-aware metrics based on a fixed 24-hour budget, as well as cluster-level success criteria to account for structural diversity. Together, these results expose systematic differences induced by filtering rules, success definitions, and throughput-aware evaluation between computational efficiency, success rate, and structural diversity. Overall, ProtDBench provides a fair and reproducible evaluation pipeline that supports systematic and controlled comparison of protein binder design methods under realistic evaluation settings.
- Abstract（参考訳）: デノボタンパク質バインダーの設計の最近の進歩により、実験的な検証が可能になったが、シリコ測定では、非標準化評価プロトコルによる研究の解釈や比較が困難であることが報告されている。
本稿では,タンパク質結合体設計のための標準化およびスループットを考慮した評価フレームワークであるProtDBenchを紹介する。
ProtDBenchは、統一されたベンチマークタスク、評価プロトコル、成功基準を定義し、評価設計が観察されたパフォーマンスに与える影響の体系的な分析を可能にする。
湿式アノテートデータセットを用いて、一般的な構造予測モデルを評価検証として分析し、有意な検証者依存バイアスと同一のフィルタリングプロトコル下での限定一致を明らかにした。
次に,固定評価プロトコルの下で,10種類のタンパク質標的に対するオープンソース生成バインダー設計手法のベンチマークを行った。
シーケンス毎の成功率以外にも、ProtDBenchでは、24時間予算の固定に基づくスループット対応メトリクスと、クラスタレベルの成功基準を取り入れて、構造的な多様性を判断する。
これらの結果から, フィルタ規則, 成功定義, スループットを考慮した計算効率, 成功率, 構造多様性の体系的差異が明らかになった。
全体として、ProtDBenchは公正かつ再現可能な評価パイプラインを提供し、現実的な評価設定の下でタンパク質バインダー設計手法の体系的および制御的な比較をサポートする。
関連論文リスト
- Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation [3.966528468818454]
本稿では、JPEG Pleno標準化活動の文脈で開発された光場QAのための標準化ワークフローを提案する。
このベンチマークは、従来のコーディング専用アーティファクトだけでなく、処理パイプラインで発生する歪みも含むように設計されている。
基準アンコール品質評価と目的のペアワイド精錬を組み合わせ, 微粒化評価を可能にするハイブリッド主観的手法を提案する。
論文 参考訳（メタデータ） (2026-07-03T17:03:45Z) - Picid: A Modular Evaluation Infrastructure for Reproducible PHM Across Tasks and Domains [13.382059615065167]
我々は、PHM評価パイプラインを明示的で実行可能で再現可能なプロトコルとして形式化するモジュール評価基盤であるpicidを紹介する。
picidは決定論的でリークセーフなデータセットの構築を強制すると同時に、さまざまなPHM設定でフレキシブルに維持する。
電池, ベアリング, ターボファンエンジン, 油圧, 濾過システム, 建物にまたがる12のデータセットの13モデルについて, 実験的検討を行った。
論文 参考訳（メタデータ） (2026-05-27T11:50:52Z) - Interactive Evaluation Requires a Design Science [90.62695599188204]
大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。
フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。
本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
論文 参考訳（メタデータ） (2026-05-18T04:03:18Z) - PepSpecBench: A Unified Evaluation Benchmark for Peptide Tandem Mass Spectrometry Prediction [17.33669468355787]
PepSpecBenchはペプチドMS/MSスペクトル予測のための統一ベンチマークである。
補完的な公開データセット間でのデータ前処理を標準化する。
また、シークエンスリークをなくすための厳格なバックボーン結合分割戦略も実施している。
論文 参考訳（メタデータ） (2026-05-03T16:11:27Z) - UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - Procrustean Bed for AI-Driven Retrosynthesis: A Unified Framework for Reproducible Evaluation [0.0]
RetroCastは、異種モデルの出力を共通スキーマに標準化する統合評価スイートである。
我々は、新しい標準ベンチマークスイートを用いて、検索ベースおよびシーケンスベースの主要なアルゴリズムを評価する。
論文 参考訳（メタデータ） (2025-12-08T01:26:39Z) - PDFBench: A Benchmark for De novo Protein Design from Function [18.373430158468874]
PDFBenchは、関数誘導デノボタンパク質設計のための最初の包括的なベンチマークである。
本ベンチマークでは,2つのキー設定の16のメトリクスに対して,8つの最先端モデルを体系的に評価する。
論文 参考訳（メタデータ） (2025-05-25T05:40:15Z) - Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework [0.4874819476581695]
合成データの品質を評価することは、データ駆動リサーチにおけるプライバシとユーティリティを確保する上で、依然として重要な課題である。
本稿では,プライバシを確保しつつ,合成データが元の分布特性をいかにうまく再現するかを定量化するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-02T17:10:30Z) - Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。
従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。
本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
論文 参考訳（メタデータ） (2025-02-26T06:31:45Z) - ProteinBench: A Holistic Evaluation of Protein Foundation Models [53.59325047872512]
本稿では,タンパク質基盤モデルのための総合評価フレームワークであるProteinBenchを紹介する。
本研究のアプローチは, タンパク質ドメインにおける課題を包括的に包括するタスクの分類学的分類, (ii) 品質, 新規性, 多様性, 堅牢性, および (iii) 様々なユーザ目標から詳細な分析を行い, モデルパフォーマンスの全体的視点を提供する,4つの重要な側面にわたるパフォーマンスを評価するマルチメトリック評価アプローチからなる。
論文 参考訳（メタデータ） (2024-09-10T06:52:33Z) - A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - PDB-Struct: A Comprehensive Benchmark for Structure-based Protein Design [19.324059406159325]
我々は、リフォールダビリティベースのメトリクスと安定性ベースのメトリクスの2つの新しい指標を紹介した。
ByProt、ProteinMPNN、ESM-IFはベンチマークで非常によく機能しますが、ESM-DesignとAF-Designは不足しています。
提案するベンチマークは,タンパク質設計手法の公平かつ包括的な評価方法である。
論文 参考訳（メタデータ） (2023-11-30T02:37:55Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。