論文の概要: Model Effect or Label Effect? Refined Annotations and a Human-Referenced Benchmark for Pulmonary Embolism Segmentation
- arxiv url: http://arxiv.org/abs/2608.24486v1
- Date: Tue, 25 Aug 2026 12:34:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.98538
- Title: Model Effect or Label Effect? Refined Annotations and a Human-Referenced Benchmark for Pulmonary Embolism Segmentation
- Title(参考訳): モデル・エフェクトかラベル・エフェクトか?肺塞栓症セグメンテーションのための注釈と人為的基準
- Abstract要約: CADPE, FUMPE, READから166症例のVoxel-annotated CT肺血管造影検査を行った。
2つの事前訓練されたnnU-Netモデルと、オリジナルのアノテーションと洗練されたアノテーションを評価することでラベル効果を測定した。
ラベル効果はCADPEおよびFUMPEのモデル効果を超え,READでは0.045であった。
- 参考スコア(独自算出の注目度): 15.367049284227582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: To quantify how evaluation annotations influence measured pulmonary embolism (PE) segmentation performance relative to model training changes, and to establish a human-referenced framework. Materials and Methods: This retrospective study screened 166 voxel-annotated CT pulmonary angiography cases from CADPE (n=91), FUMPE (n=35), and READ (n=40); 149 were included. A primary rater annotated PE by protocol, and a senior thoracic radiologist reviewed and revised all segmentations. Three additional raters at three centers annotated a 15-case subset. The label effect was measured by evaluating two pretrained nnU-Net models (nnU-Net-A, nnU-Net-B) against original and refined annotations. The model effect was measured by comparing the same architecture trained on different dataset combinations with annotations fixed. The benchmark model (nnPE) was trained with leave-one-dataset-out and pooled five-fold cross-validation. Four metric categories were analyzed with case-paired Wilcoxon signed-rank tests, Benjamini-Hochberg correction, and bootstrap 95% CIs. Results: Changing only the annotation increased mean DSC by 0.143 (0.122-0.166) for nnU-Net-A and 0.188 (0.163-0.213) for nnU-Net-B (both P < .001), whereas changing training-dataset composition changed DSC by 0.028. The label effect exceeded the model effect on CADPE and FUMPE and was 0.045 on READ. Within-mask attenuation SD fell in all three datasets after re-annotation (all P < .001). nnPE reached DSC 0.72 +/- 0.22 on pooled cross-validation but scored below all four annotators across 52 paired comparisons (all corrected P < .05). Conclusion: Evaluation annotations affected measured PE segmentation performance at least as much as model training choices. A human-referenced evaluation framework is publicly available for future study.
- Abstract(参考訳): 目的: モデルトレーニングの変化に対して評価アノテーションが測定された肺塞栓症(PE)セグメンテーションのパフォーマンスにどのように影響するかを定量化し, 人為的な枠組みを確立すること。
対象と方法: CADPE (n=91), FUMPE (n=35), READ (n=40), 149例のVoxel-annotated CT肺血管造影症例について検討した。
プライマリ・レーダはPEをプロトコールで注釈付けし, 胸部X線検査医は全セグメンテーションを見直し, 改訂した。
3つのセンターに3つのラッカーが15ケースのサブセットに注釈を付けた。
ラベル効果は、2つの事前訓練されたnnU-Netモデル(nnU-Net-A, nnU-Net-B)を、オリジナルのアノテーションと洗練されたアノテーションに対して評価することで測定した。
モデル効果は、異なるデータセットの組み合わせでトレーニングされた同じアーキテクチャと、修正されたアノテーションを比較することで測定された。
ベンチマークモデル(nPE)は、残留1データセットアウトとプール5倍のクロスバリデーションでトレーニングされた。
4つの尺度をケースペアのウィルコクソン署名ランクテスト、ベンジャミン・ホックバーグ補正、ブートストラップ95%CIを用いて分析した。
結果: nnU-Net-Aは0.143(0.122-0.166)、nnU-Net-Bは0.188(0.163-0.213)、トレーニング・データセット構成は0.028(それぞれP < .001)であった。
ラベル効果はCADPEおよびFUMPEのモデル効果を超え,READでは0.045であった。
マスク内減衰SDは再アノテーション後の3つのデータセットすべてで低下した(P < .001)。
nnPEはプール式クロスバリデーションでDSC 0.72 +/- 0.22に到達したが、52対の比較で4つのアノテータを下回った(P < .05)。
結論: 評価アノテーションは, 測定されたPEセグメンテーション性能に少なくとも, モデルトレーニング選択に匹敵する影響を及ぼした。
人為的な評価フレームワークは、将来の研究のために公開されている。
関連論文リスト
- Compared to What? Baselines and Metrics for Counterfactual Prompting [39.56472929066589]
患者の性別を外科的に変化させると,MedQAの14.9%のフリップ率を予測する。
本稿では,目標介入下で観察される相違点と,パラフレーズ入力によって引き起こされる相違点を比較検討する枠組みを提案する。
一般モデル感度を考慮すると,これらの効果は大きく消散することがわかった。
論文 参考訳(メタデータ) (2026-05-01T19:23:33Z) - Bit-Identical Medical Deep Learning via Structured Orthogonal Initialization [0.0]
深層学習トレーニングは非決定論的であり、異なるランダムなシードを持つ同一のコードは、集約メトリクスに異を唱えるが個々の予測に異を唱えるモデルを生成する。
ランダム性の3つの源を除去する検証ビット識別訓練の枠組みを提案する。
論文 参考訳(メタデータ) (2026-03-30T05:04:57Z) - Do Generative Metrics Predict YOLO Performance? An Evaluation Across Models, Augmentation Ratios, and Dataset Complexity [43.338311770275745]
本報告では, YOLOv11の合成増強の制御された評価法について述べる。
実際のトレーニングスプリットの10%から150%の増大率に対して, GAN, 拡散, ハイブリッドベースの6つのジェネレータをベンチマークした。
データセット生成/拡張設定毎に、マッチしたサイズのブートストラッププロトコルで事前トレーニングデータセットメトリクスを計算する。
論文 参考訳(メタデータ) (2026-02-20T03:02:36Z) - Uncertainty-Aware Segmentation Quality Prediction via Deep Learning Bayesian Modeling: Comprehensive Evaluation and Interpretation on Skin Cancer and Liver Segmentation [1.428446217085158]
そこで本研究では,テスト期間中に真理アノテーションを必要とせずにセグメンテーションの品質を予測できる新しいフレームワークを提案する。
我々のフレームワークは、HAM10000データセット上のR2スコア93.25とピアソン相関96.58を達成している。
3次元肝セグメンテーションでは、エントロピーによるテスト時間増強はR2スコア85.03、ピアソン相関65.02を達成し、モダリティ間の堅牢性を示す。
論文 参考訳(メタデータ) (2025-08-02T18:30:32Z) - Deep learning-based segmentation of T1 and T2 cardiac MRI maps for automated disease detection [0.2593137041747032]
組織マッピングは、定量的な心臓組織評価を可能にするが、手動のデライン化において、オブザーバ間の変動によって制限される。
平均緩和値と単一カットオフに依存する従来のアプローチは、複雑さを過度に単純化する可能性がある。
本研究では,機械学習がサーバ間変動に匹敵するセグメンテーション精度を達成できるかどうかを評価する。
論文 参考訳(メタデータ) (2025-07-01T16:08:54Z) - Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。
iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
論文 参考訳(メタデータ) (2024-07-10T19:17:23Z) - A quality assurance framework for real-time monitoring of deep learning
segmentation models in radiotherapy [3.5752677591512487]
この研究は、品質保証フレームワークを確立するために、心臓のサブ構造セグメンテーションを例として用いている。
心電図(CT)画像と241例の心電図を用いたベンチマークデータセットを収集した。
訓練されたDenoising Autoencoder(DAE)と2つの手動特徴を利用して画像領域シフト検出器を開発した。
Dice similarity coefficient (DSC) を用いて患者ごとのセグメンテーション精度を予測するための回帰モデルを構築した。
論文 参考訳(メタデータ) (2023-05-19T14:51:05Z) - Feature-enhanced Adversarial Semi-supervised Semantic Segmentation
Network for Pulmonary Embolism Annotation [6.142272540492936]
本研究は,肺塞栓病変領域を自動診断する機能強化逆行性半教師付きセマンティックセマンティックセグメンテーションモデルを構築した。
近年のPEAイメージセグメンテーション手法は,教師あり学習によって訓練されている。
本研究では,少量の未ラベル画像を追加することで,異なるデータセットに適用可能なモデルを構築するための半教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2022-04-08T04:21:02Z) - End-to-End Semi-Supervised Object Detection with Soft Teacher [63.26266730447914]
本稿では,従来の複雑な多段階法とは対照的に,終端から終端までの半教師付き物体検出手法を提案する。
提案手法は, 種々のラベル付け比において, 従来手法よりも大きなマージンで性能を向上する。
最先端のSwin Transformerベースの物体検出器では、検出精度を+1.5 mAPで大幅に向上させることができる。
論文 参考訳(メタデータ) (2021-06-16T17:59:30Z) - MSED: a multi-modal sleep event detection model for clinical sleep
analysis [62.997667081978825]
ポリソムノグラムで睡眠イベントを共同検出する,単一のディープニューラルネットワークアーキテクチャを設計した。
モデルの性能は,F1,精度,リコールスコア,および指標値と臨床値との相関で定量化した。
論文 参考訳(メタデータ) (2021-01-07T13:08:44Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳(メタデータ) (2020-10-21T18:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。