論文の概要: The Accuracy Paradox: Empirical Diagnostic of Default Decision Thresholds in Multi-Label Enzyme Commission Prediction [With Code]
- arxiv url: http://arxiv.org/abs/2609.07897v1
- Date: Mon, 07 Sep 2026 19:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.502335
- Title: The Accuracy Paradox: Empirical Diagnostic of Default Decision Thresholds in Multi-Label Enzyme Commission Prediction [With Code]
- Title(参考訳): 精度パラドックス:マルチラベル酵素委員会予測におけるデフォルト決定閾値の実証診断 [in Japanese]
- Abstract要約: 本報告では,厳密なクラス不均衡の下で動作している未校正決定境界の系統的実証診断について述べる。
その結果, マルチラベルシステムAは77.16%, マクロF1スコア(0.3976), マクロリコール(0.3872)の精度が著しく向上した。
- 参考スコア(独自算出の注目度): 0.7530103765625609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated prediction of Enzyme Commission (EC) numbers plays a central role in functional annotation and computational drug discovery. However, standard multi-label machine learning pipelines frequently rely on default decision thresholds (t=0.50), assuming balanced prior distributions across target heads. In this study, we present a systematic empirical diagnostic of uncalibrated fixed decision boundaries operating under severe class imbalance across N = 14,096 annotated compounds categorized into six primary EC classes (EC1-EC6). Our results highlight a pronounced Accuracy Paradox: while the multi-label system achieves a deceivingly high mean accuracy of 77.16%, the macro F1-score (0.3976) and macro recall (0.3872) reveal severe predictive breakdown. Majority target classes suffer from hyper-sensitivity and over-prediction, whereas minority classes exhibit sharp recall decay, culminating in a total decision boundary collapse for EC6 (Recall = 0.00%) despite underlying discriminative power (ROC-AUC = 0.5857). Feature correlation analysis further reveals high linear redundancy among topological indices relative to fingerprint density metrics. Ultimately, this diagnostic study demonstrates that standard point predictions mask critical errors in bioinformatics workflows. We establish target-specific threshold optimization and post-hoc conformal calibration as essential, open-source post-processing safeguards for reliable applied machine learning and deep learning architectures.
- Abstract(参考訳): 酵素委員会(EC)番号の自動予測は、機能的アノテーションと計算薬物発見において中心的な役割を果たす。
しかし、標準のマルチラベル機械学習パイプラインは、しばしばデフォルトの判定しきい値(t=0.50)に依存する。
本研究では,N = 14,096 のアノテート化合物を6つのプライマリECクラス (EC1-EC6) に分類し, 厳密なクラス不均衡の下で機能する固定的決定境界の系統的検証を行った。
その結果, 精度が77.16%であるにもかかわらず, マクロF1スコア (0.3976) とマクロリコール (0.3872) の精度は著しく低下した。
主要なターゲットクラスは過敏性と過剰な予測に苦しむ一方、マイノリティクラスは急激なリコール崩壊を示し、根底にある差別力(ROC-AUC = 0.5857)にもかかわらず、EC6(リコール= 0.00%)の完全な決定境界崩壊に終止符を打つ。
特徴相関解析により, 指紋密度指標に対するトポロジカル指標の線形冗長性がさらに高くなる。
この診断研究は、バイオインフォマティクスのワークフローにおいて、標準点予測が致命的なエラーを隠蔽することを示した。
我々は、信頼性の高い機械学習およびディープラーニングアーキテクチャのための、ターゲット固有のしきい値最適化とポストホックコンフォーマルキャリブレーションを、必須かつオープンソースのポストプロセッシングセーフガードとして確立する。
関連論文リスト
- Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳(メタデータ) (2026-07-29T05:16:59Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。
UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。
キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
論文 参考訳(メタデータ) (2026-05-20T17:12:48Z) - CLiGNet: Clinical Label-Interaction Graph Network for Medical Specialty Classification from Clinical Transcriptions [0.0]
われわれはまず、この方法論上の欠陥を文書化し、40の専門分野にまたがるリークフリーベンチマーク(4966レコード)を確立する。
次に、Bio ClinicalBERTテキストエンコーダと2層グラフ畳み込みネットワークを組み合わせたニューラルネットワークであるCLiGNetを紹介します。
本報告では,一対の専門的混乱,希少なクラス行動,文書長効果,トークンレベルの統合的グラディエント属性を包括的に解析し,臨床NLPシステム展開に対する実用的な洞察を提供する。
論文 参考訳(メタデータ) (2026-03-24T03:30:06Z) - Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。
提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。
本手法は歴史的幻覚の可能性を著しく低下させることを示す。
論文 参考訳(メタデータ) (2026-02-27T04:49:01Z) - CytoDINO: Risk-Aware and Biologically-Informed Adaptation of DINOv3 for Bone Marrow Cytomorphology [0.0]
我々はミュンヘン白血病研究所のデータセット上で最先端のパフォーマンスを実現するフレームワークであるCytoDINOを紹介した。
私たちの主な貢献は、細胞間の生物学的な関係をコード化し、臨床的に危険な誤分類を明示的に罰する、ヒエララルカル・フーカル・ロス・ウィット・クリティカル・ペナルティ(Hierarchical Focal Loss with critical penalties)である。
CytoDINOは21種類のテストセットで88.2%の重み付きF1スコアと76.5%のマクロF1を達成している。
論文 参考訳(メタデータ) (2025-12-09T23:09:22Z) - XAI-Driven Skin Disease Classification: Leveraging GANs to Augment ResNet-50 Performance [2.7930955543692817]
本研究は,限界を克服するために,信頼性が高く高精度なコンピュータ支援診断(CAD)システムを提案する。
このアプローチでは、クラス毎のデータ拡張にDeep Convolutional Generative Adversarial Networks (DCGAN) を用いて、クリティカルクラスの不均衡問題を解決する。
システム全体の精度は92.50 %、マクロAUC98.82 %に達し、様々な以前のベンチマークアーキテクチャを上回りました。
論文 参考訳(メタデータ) (2025-11-29T20:46:30Z) - Colorectal Cancer Histopathological Grading using Multi-Scale Federated Learning [0.0]
本稿では,大腸癌診断のための拡張性,プライバシ保護型フェデレーション学習フレームワークを提案する。
我々のフレームワークは全体の83.5%の精度を達成し、同等の集中型モデルよりも優れています。
提案されたモジュールパイプラインは、デジタル病理のためのデプロイ可能でプライバシに配慮した臨床AIに向けた基礎的なステップを確立する。
論文 参考訳(メタデータ) (2025-11-05T18:18:09Z) - Learning to diagnose cirrhosis from radiological and histological labels
with joint self and weakly-supervised pretraining strategies [62.840338941861134]
そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。
我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。
この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
論文 参考訳(メタデータ) (2023-02-16T17:06:23Z) - Uncertainty in Extreme Multi-label Classification [81.14232824864787]
eXtreme Multi-label Classification (XMC)は、Webスケールの機械学習アプリケーションにおいて、ビッグデータの時代において不可欠なタスクである。
本稿では,確率的アンサンブルに基づく木系XMCモデルの一般的な不確実性定量化手法について検討する。
特に,XMCにおけるラベルレベルおよびインスタンスレベルの不確実性を解析し,ビームサーチに基づく一般的な近似フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-18T20:54:33Z) - Deep Learning for Virtual Screening: Five Reasons to Use ROC Cost
Functions [80.12620331438052]
深層学習は サイリコの何十億もの分子を 迅速にスクリーニングする 重要なツールとなりました
その重要性にもかかわらず、厳密なクラス不均衡、高い決定しきい値、いくつかのデータセットにおける基底真理ラベルの欠如など、これらのモデルのトレーニングにおいて重大な課題が続いている。
このような場合、クラス不均衡に対するロバスト性から、レシーバ動作特性(ROC)を直接最適化することを好んで論じる。
論文 参考訳(メタデータ) (2020-06-25T08:46:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。