論文の概要: SafeBench-Seq: A Homology-Clustered, CPU-Only Baseline for Protein Hazard Screening with Physicochemical/Composition Features and Cluster-Aware Confidence Intervals

• arxiv url: http://arxiv.org/abs/2512.17527v1
• Date: Fri, 19 Dec 2025 12:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.383158
• Title: SafeBench-Seq: A Homology-Clustered, CPU-Only Baseline for Protein Hazard Screening with Physicochemical/Composition Features and Cluster-Aware Confidence Intervals
• Title（参考訳）: SafeBench-Seq: 物理化学的/構成的特徴とクラスタ対応信頼区間を備えたタンパク質ハザードスクリーニングのための,ホモロジークラスタ型CPU専用ベースライン
• Authors: Muhammad Haris Khan,
• Abstract要約: SafeBench-Seqはメタデータのみの再現可能なベンチマークと,すべて公開データから構築されたベースライン分類器である。 の脅威を近似するために、組み合わせたデータセットを40パーセントのIDでクラスタリングし、クラスタレベルのホールドアウトを実行します。 AUROC/AUPRCとスクリーニング操作点(TPR@1% FPR; FPR@95% TPR)の95%ブートストラップ信頼区間(n=200)を報告した。 我々は,ブライアスコア,期待誤差(ECE),15ビン,信頼性図を用いて,確率品質を定量化する。
• 参考スコア（独自算出の注目度）: 26.81598226089532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models for protein design raise concrete biosecurity risks, yet the community lacks a simple, reproducible baseline for sequence-level hazard screening that is explicitly evaluated under homology control and runs on commodity CPUs. We introduce SafeBench-Seq, a metadata-only, reproducible benchmark and baseline classifier built entirely from public data (SafeProtein hazards and UniProt benigns) and interpretable features (global physicochemical descriptors and amino-acid composition). To approximate "never-before-seen" threats, we homology-cluster the combined dataset at <=40% identity and perform cluster-level holdouts (no cluster overlap between train/test). We report discrimination (AUROC/AUPRC) and screening-operating points (TPR@1% FPR; FPR@95% TPR) with 95% bootstrap confidence intervals (n=200), and we provide calibrated probabilities via CalibratedClassifierCV (isotonic for Logistic Regression / Random Forest; Platt sigmoid for Linear SVM). We quantify probability quality using Brier score, Expected Calibration Error (ECE; 15 bins), and reliability diagrams. Shortcut susceptibility is probed via composition-preserving residue shuffles and length-/composition-only ablations. Empirically, random splits substantially overestimate robustness relative to homology-clustered evaluation; calibrated linear models exhibit comparatively good calibration, while tree ensembles retain slightly higher Brier/ECE. SafeBench-Seq is CPU-only, reproducible, and releases metadata only (accessions, cluster IDs, split labels), enabling rigorous evaluation without distributing hazardous sequences.
• Abstract（参考訳）: タンパク質設計の基礎モデルは、具体的なバイオセキュリティリスクを増大させるが、コミュニティは、ホモロジー制御の下で明示的に評価され、コモディティCPU上で動作する、シークエンスレベルのハザードスクリーニングのための、シンプルで再現可能なベースラインを欠いている。 本稿では, メタデータのみを再現可能なベンチマークとベースライン分類器であるSafeBench-Seqを紹介し, 公開データ(SafeProtein hazardsおよびUniProt Benigns)と解釈可能な特徴(グローバル物理化学的記述子, アミノ酸合成)から構築した。 の脅威を近似するために、組み合わせたデータセットを<=40%のアイデンティティでクラスタ化し、クラスタレベルのホールドアウトを実行します(トレイン/テスト間のクラスタオーバーラップはありません)。 判定(AUROC/AUPRC)とスクリーニング操作点(TPR@1% FPR; FPR@95% TPR)を95%のブートストラップ信頼区間(n=200)で報告し,CalibratedClassifierCV (sotonic for Logistic Regression / Random Forest, Platt sigmoid for Linear SVM)を介して校正された確率を提供する。 我々は,ブライアスコア,期待校正誤差(ECE; 15 bins),信頼性図を用いて,確率品質を定量化する。 ショートカット感受性は、組成保存残基シャッフルと長さ/構成のみのアブレーションを介して調査される。 実験的に、ランダムな分割はホモロジークラスタリング評価と比較してかなり過大評価され、キャリブレーションされた線形モデルは比較的良好なキャリブレーションを示し、ツリーアンサンブルはブリア/ECEをわずかに上回っている。 SafeBench-SeqはCPUのみであり、再現可能であり、メタデータのみ(アクセス、クラスタID、スプリットラベル)をリリースし、有害なシーケンスを分散することなく厳密な評価を可能にする。

関連論文リスト

• Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
  この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。 アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
  論文  参考訳（メタデータ） (2025-11-26T01:29:49Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。