論文の概要: Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking

• arxiv url: http://arxiv.org/abs/2603.03493v1
• Date: Tue, 03 Mar 2026 20:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.076743
• Title: Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking
• Title（参考訳）: 遺伝子制御ネットワークベンチマークにおける評価プロトコル軸間のランク付け不安定性の定量化
• Authors: Ihor Kendiukhov,
• Abstract要約: 4つのプロトコル軸間のペアワイズ反転率を定量化する。 置換ヌルは、観測された逆数率がランダムな順序予測よりもはるかに低いことを確認する。 分析の結果,逆転は基本レートのインフレーションではなく,手法の相対的差別能力の変化によって引き起こされることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmark rankings are routinely used to justify scientific claims about method quality in gene regulatory network (GRN) inference, yet the stability of these rankings under plausible evaluation protocol choices is rarely examined. We present a systematic diagnostic framework for measuring ranking instability under protocol shift, including decomposition tools that separate base rate effects from discrimination effects. Using existing single cell GRN benchmark outputs across three human tissues and six inference methods, we quantify pairwise reversal rates across four protocol axes: candidate set restriction (16.3 percent, 95 percent CI 11.0 to 23.4 percent), tissue context (19.3 percent), reference network choice (32.1 percent), and symbol mapping policy (0.0 percent). A permutation null confirms that observed reversal rates are far below random order expectations (0.163 versus null mean 0.500), indicating partially stable but non invariant ranking structure. Our decomposition reveals that reversals are driven by changes in the relative discrimination ability of methods rather than by base rate inflation, a finding that challenges a common implicit assumption in GRN benchmarking. We propose concrete reporting practices for stability aware evaluation and provide a diagnostic toolkit for identifying method pairs at risk of reversal.
• Abstract（参考訳）: ベンチマークランキングは、遺伝子制御ネットワーク(GRN)の推論における手法品質に関する科学的主張を正当化するために日常的に使用されるが、これらの評価プロトコルの選択による評価の安定性はめったに調査されない。 本稿では,プロトコルシフト下でのランキング不安定度を測定するための系統的診断フレームワークを提案する。 3つのヒト組織と6つの推論方法にわたる既存の単一細胞GRNベンチマークの出力を用いて、候補セット制限(16.3%、95%CI 11.0から23.4%)、組織コンテキスト(19.3%)、参照ネットワーク選択(32.1%)、シンボルマッピングポリシー(0.0%)の4つのプロトコル軸間のペアワイズリバース率を定量化する。 置換ヌルは、観測された逆数率がランダムな順序予想(0.163対ヌル平均0.500)よりもはるかに低いことを確認し、部分的に安定だが不変でないランキング構造を示している。 分析の結果,逆転は基準レートのインフレーションよりもメソッドの相対的な識別能力の変化によって引き起こされることが明らかとなり,GRNベンチマークにおいて暗黙の仮定に挑戦する結果が得られた。 本稿では, 信頼性を考慮した評価のための具体的な報告手法を提案し, 逆転リスクのある手法対を特定するための診断ツールキットを提案する。

関連論文リスト

• ClinNet: Evidential Ordinal Regression with Bilateral Asymmetry and Prototype Memory for Knee Osteoarthritis Grading [3.337151338735509]
  X線画像に基づく膝関節症(KOA)の診断は極めて難しい課題である。 本研究では, KOA グレーディングに対処する信頼性の高い新しいフレームワーク ClinNet を提案する。
  論文  参考訳（メタデータ） (2026-01-24T05:49:41Z)
• Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data [2.922743999325622]
  本稿では,医療予測の基本的な限界に対処するハイブリッドベイズ・コンフォーマル・フレームワークを提案する。 提案手法は, ベイズ系階層的ランダム林と群対応型コンフォメーションキャリブレーションを統合し, 後方不確かさを重み適合度スコアに用いた。 米国3,793の病院と4つの地域にわたる61,538件の入院状況について検討した。
  論文  参考訳（メタデータ） (2026-01-03T16:06:37Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
  本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。 5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
  論文  参考訳（メタデータ） (2025-10-19T08:21:00Z)
• Systematic Evaluation of Attribution Methods: Eliminating Threshold Bias and Revealing Method-Dependent Performance Patterns [0.0]
  現在のプロトコルでは、属性マップを単一のしきい値でバイナライズしており、しきい値の選択だけでランキングを200ポイント以上変更することができる。 AUC-IoU (Area Under the Curve for Intersection over Union) を演算するしきい値のないフレームワークでこの問題に対処する。 XRAIは、LIMEよりも31%、バニラ統合グラディエントより204%改善し、サイズ階層化分析により、病変スケールで最大269%のパフォーマンス変化を示した。
  論文  参考訳（メタデータ） (2025-09-03T09:50:31Z)
• Aleatoric and Epistemic Uncertainty Measures for Ordinal Classification through Binary Reduction [21.602569813024]
  ラベルが自然秩序を示す通常の分類問題は、医学や金融などの高い分野において一般的である。 本報告では, 順序分類における動脈硬化, てんかんの不確実性の新たな尺度について紹介する。 これらの尺度は、正確なヒットレートと最小誤差距離の順序分類におけるトレードオフを効果的に捉えている。
  論文  参考訳（メタデータ） (2025-07-01T13:31:58Z)
• CARE: Confidence-aware Ratio Estimation for Medical Biomarkers [14.09557377263612]
  比例ベースのバイオマーカーは、診断、予後、治療計画を支援するために臨床実践で広く用いられている。 既存の方法は点推定のみを提供し、不確実性の尺度を提供しない。 比に基づくバイオマーカーを推定するための統合信頼度対応フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T06:58:19Z)
• Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
  本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。 提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
  論文  参考訳（メタデータ） (2022-05-19T16:00:13Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。