論文の概要: Evaluation Choices Shape Biomedical ML Claims: A Pediatric Pneumonia Benchmark Case Study
- arxiv url: http://arxiv.org/abs/2609.37848v1
- Date: Tue, 29 Sep 2026 15:42:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.697512
- Title: Evaluation Choices Shape Biomedical ML Claims: A Pediatric Pneumonia Benchmark Case Study
- Title（参考訳）: バイオメディカルMLクレームの形状選択 : 小児肺炎ベンチマークによる検討
- Abstract要約: 分割,トレーニングポリシ,しきい値,メトリック,キャリブレーション,不確実性が通信されない場合に,高いベンチマークスコアが異なる結論をサポートすることを示す。
これらの結果から,分割,トレーニングポリシ,しきい値,メトリック,キャリブレーション,不確実性が通信されない場合に,高いベンチマークスコアが異なる結論を支持できることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biomedical machine learning papers often compress model performance into one headline number. That number can look like a property of the model even when it depends strongly on how the benchmark was evaluated. We study this problem on the widely used Kermany pediatric chest radiograph dataset using nine image classifiers and a controlled evaluation protocol. Under the same protocol, the eight pretrained backbones differ by only 0.026 AUROC. In contrast, changing whether the backbone is frozen or fine-tuned changes AUROC by 0.044 on average, and changing the decision threshold changes balanced accuracy by 0.090 on average. The official test split is also measurably different from the training pool: a partition classifier distinguishes them at AUC 0.697, rising to 0.898 for normal radiographs. Most strikingly, a classifier using only file properties, with no image anatomy, reaches 0.992 balanced accuracy within the training pool but falls to 0.496 on the official test split. Validation-fitted thresholds and calibration also transfer imperfectly. These results show that a high benchmark score can support different conclusions when the split, training policy, threshold, metric, calibration, and uncertainty are not communicated with it. We end with a seven-item reporting recommendation in which each item is tied to an effect measured in the study
- Abstract（参考訳）: バイオメディカル機械学習の論文は、しばしばモデルの性能を1つの見出し数に圧縮する。
この数字は、ベンチマークがどのように評価されたかに強く依存しても、モデルのプロパティに見えます。
本研究では,9つの画像分類器と制御された評価プロトコルを用いて,広く使用されているKermany pediatric chest radiograph データセットについて検討した。
同じプロトコルの下では、8つの事前訓練されたバックボーンは0.026 AUROCだけ異なる。
対照的に、背骨が凍結されているか微調整されているかは平均0.044でAUROCが変化し、決定しきい値が平均0.090で補正される。
分割分類器はAUC 0.697でそれらを区別し、通常のラジオグラフィでは0.898まで上昇する。
最も印象的なことに、画像解剖のないファイルプロパティのみを使用する分類器は、トレーニングプール内で0.992のバランスの取れた精度に達するが、公式のテストスプリットでは0.496に落ちる。
バリデーション適合しきい値とキャリブレーションも不完全な転送を行う。
これらの結果から,分割,トレーニングポリシ,しきい値,メトリック,キャリブレーション,不確実性が通信されない場合に,高いベンチマークスコアが異なる結論を支持できることが示唆された。
我々は、各項目が研究で測定された効果に結びついている7項目のレポートレコメンデーションで終わります。
関連論文リスト
- When Online Adaptation Hurts: Parameter-Frozen Test-Time Ensembling for Continual Medical Image Segmentation [0.5801621787540268]
ソーストレーニングされたセグメンタを使用して、解剖学的に保存されたスケールとフリップビューを学び、予測をネイティブな場所にマップし、確率を平均化します。
ベンダーAでトレーニングされ、ベンダーB、C、Dで順次評価されるM&Mの心臓MRIストリームでは、PIEは、ソースのみの推論では0.7680、他の5つのオンライン適応ベースラインでは0.7388--0.7416に対して、平均Diceが0.7786である。
論文 参考訳（メタデータ） (2026-09-18T07:21:32Z) - LeCor: Learning to Be Corrected by Meta-Learned Test-Time Training for Interactive 3D Lung-Tumour Segmentation [45.86925813888675]
肺腫瘍におけるSAM 3の微調整は、0.298から0.757までの1点のプロンプトから得られるDiceを上昇させ、7ラウンドの補正によりさらに0.765まで上昇させる。
ケース毎にリセットされたケースアダプタの小さなセットでテスト時間トレーニングを行うLeCorを提案する。
LeCor は 7 回の補正ラウンドを 0.787 から 0.827 に引き上げ、0.80 を 47 から 27 に到達しないケースの数を 47 から 27 に減らし、3 回の補正ラウンドで細調整モデルが 7 で到達した精度を下げる。
論文 参考訳（メタデータ） (2026-09-08T21:49:56Z) - Counterfactual Fairness Audits of Multi-Step Clinical LLM Agents Require a Measured Per-Action Instability Floor [3.0704370207786265]
本研究は, アクションフロアを横に置かずに報告した反実的公正度推定値が, 相違の証拠として読めないことを示す。
FairMedAgentは, 臨床適応剤の作用の差異を評価するための評価ハーネスである。
論文 参考訳（メタデータ） (2026-09-02T23:38:17Z) - Automated binary classification of hazelnut X-ray images: A deep-learning benchmark for quality assessment [33.72751145910978]
非破壊的なX線撮影では、外部検査だけでは検出が難しい内部のハゼルナッツの欠陥が明らかになる。
799セグメントのシングルカーネルX線画像に基づくバイナリ・ヘーゼルナットの品質分類のベンチマークを提案する。
論文 参考訳（メタデータ） (2026-08-12T07:55:22Z) - Interpretable Image-Level Acne Severity Grading via EfficientNet-B0 Transfer Learning and Grad-CAM [0.0]
林基準に基づく4級アシネス分類器を開発した。
このモデルは2,983枚のラベル付き画像のACNE04データセットに微調整された。
93.5パーセントの精度と94.4%のマクロF1を達成し、クラスごとのF1スコアは0.92から0.97となった。
論文 参考訳（メタデータ） (2026-07-29T04:28:13Z) - Correcting Class Imbalances with Self-Training for Improved Universal Lesion Detection and Tagging [43.06199185109424]
CT研究におけるユニバーサル病変検出・タグング(ULDT)は,腫瘍の負担評価と経過に伴う病変の進行(成長・収縮)の追跡に重要である。
以前の研究では、DeepLesionデータセット(4,427人、研究10,594人、CTスライス32,120人、病変32,735人、体の一部のラベル8人)をアルゴリズム開発に使用していたが、このデータセットは完全に注釈付けされておらず、クラス不均衡を含んでいる。
我々は,DeepLesionの11.5%のサブセットを限定的に使用して,ULDTのための自己学習パイプラインを開発した。
論文 参考訳（メタデータ） (2025-04-07T15:57:03Z) - Learning to diagnose cirrhosis from radiological and histological labels
with joint self and weakly-supervised pretraining strategies [62.840338941861134]
そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。
我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。
この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
論文 参考訳（メタデータ） (2023-02-16T17:06:23Z) - Corneal endothelium assessment in specular microscopy images with Fuchs'
dystrophy via deep regression of signed distance maps [48.498376125522114]
本稿では,UNetをベースとしたセグメンテーション手法を提案する。
これは、フックスのジストロフィーの全度にわたって、信頼できるCE形態計測と腸骨同定を実現する。
論文 参考訳（メタデータ） (2022-10-13T15:34:20Z) - Semi-supervised learning for generalizable intracranial hemorrhage
detection and segmentation [0.0]
本研究は頭蓋内出血の検出・分節化のための半教師付き学習モデルの開発と評価である。
最初の「教師」ディープラーニングモデルは、2010年から2017年にかけて米国のある機関から収集された457ピクセルの頭部CTスキャンに基づいて訓練された。
2つ目の"学生"モデルは、このピクセルラベル付きデータセットと擬似ラベル付きデータセットの組み合わせでトレーニングされた。
論文 参考訳（メタデータ） (2021-05-03T00:14:43Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。