論文の概要: In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation
- arxiv url: http://arxiv.org/abs/2606.16026v1
- Date: Sun, 14 Jun 2026 21:25:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:04.998218
- Title: In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation
- Title(参考訳): In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation
- Abstract要約: 本研究では,生物医学的NLPモデルをハンパが監督する分布外性能低下に対処するために,ドメイン内教師付きパイプラインを導入する。
ドメイン内のトレーニングセットと本番環境でのホールトアウトを構築し、偽陰性率を非常に低く維持する操作ポイントを選択する方法について説明している。
パイプラインは、施設階層化されたサンプリングと、レジストリケースに関連するレポートの分離処理によるデータキュレーションを標準化する。
- 参考スコア(独自算出の注目度): 4.6566019534804495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an in-domain supervised pipeline designed to counter the out-of-distribution performance drop that hampers supervised biomedical NLP models, a problem observed when models trained on pathology reports are moved across cancer registries. Our contribution is a reproducible recipe for training a supervised classifier from routinely collected cancer registry data. It describes how to build the in-domain training set and a production-matched holdout, and to choose operating points that keep the false-negative rate (FNR) very low while keeping reviewer workload manageable. The pipeline standardizes data curation with facility-stratified sampling and separate handling of reports linked to registry cases, and includes a blinded manual audit to estimate positive-case prevalence and label noise. On a 418k-report holdout set, the Kentucky model achieved FNR 0.003 and false-positive rate (FPR) 0.097, improving over the Seattle-trained MOSSAIC OncoID baseline (FNR 0.010, FPR 0.183) and raising F1 from 0.860 to 0.922. In a blinded manual review of 600 reports, estimated positive prevalence declined from 0.500 to 0.398, indicating substantial label noise with errors concentrated in rare primary sites.
- Abstract(参考訳): 本報告では, 生体医学的NLPモデルをハンパが監督する分布外性能低下に対する対処として, 病理組織報告に基づいてトレーニングしたモデルががん登録所間で移動した場合に発生する問題点について紹介する。
我々の貢献は、定期的に収集されたがん登録データから教師付き分類器を訓練するための再現可能なレシピである。
ドメイン内のトレーニングセットと本番環境でのホールトアウトの構築方法を説明し、レビューアの作業負荷を管理しながら、偽陰性率(FNR)を極めて低く維持する操作ポイントを選択する。
パイプラインは、施設階層化されたサンプリングとレジストリケースに関連するレポートの分離処理によるデータキュレーションを標準化し、ポジティブケースの頻度とラベルノイズを見積もる盲目のマニュアル監査を含む。
418kのレポートで、ケンタッキー州のモデルはFNR 0.003と偽陽性率(FPR)0.097を達成し、シアトルで訓練されたMOSSAIC OncoIDベースライン(FNR 0.010, FPR 0.183)を上回り、F1を0.860から0.922に引き上げた。
600件の報告書の目隠しのマニュアルレビューでは、推定陽性率は0.500件から0.398件に減少し、希少な一次サイトに集中するエラーを伴うかなりのラベルノイズが示唆された。
関連論文リスト
- Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2 [0.0]
メンバーシップ推論攻撃(MIA)は、モデルをトレーニングするために特定のレコードが使用されたかどうかを判断しようとする。
本稿では,GLUE SST-2感情データセットを用いたテキスト分類におけるメンバシップ推定脆弱性のベンチマークを提案する。
論文 参考訳(メタデータ) (2026-09-10T00:53:20Z) - Robustness of Anomaly Detection Models for Industrial Control Systems under Training-Time Data Contamination [3.7391021139771325]
本稿では, トレーニング時汚染下でのセキュア水処理ベンチマークにおいて, オフラインICS異常検出パイプラインのロバスト性を評価する。
ランダムインジェクション,類似性目標インジェクション,特徴ノイズインジェクションの3つの汚染手法により,11個の異種異常検出装置を評価した。
その結果、ロバスト性はモデルに依存しており、クリーンデータのパフォーマンスだけでは予測できないことがわかった。
論文 参考訳(メタデータ) (2026-08-24T17:49:36Z) - FedPref: Federated Preference Learning for Structured Radiology Report Extraction [69.11739400975445]
ラジオロジーレポートでは、自由テキストで発見と位置を記述しているが、下流の検索と分析では、これらの関係を固定スキーマで記述する必要がある。
我々はFedPrefを紹介します: 凍結した公開言語モデルは代替の抽出を提案し、ローカルアノテーションはそれらをランク付けし、サイトはプールされたコンパクトQwen3-8Bアダプタを協調訓練します。
不平等なデータ量と病気の有病率を持つ6つのシミュレートされた病院の開発データに基づき、FedPrefはクライアント平均F1を2.49ポイント、最悪のサイトF1を9.10ポイント改善する。
論文 参考訳(メタデータ) (2026-08-17T12:29:42Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-07-28T10:59:04Z) - Prompt, Plan, Extract: Zero-Shot Agentic LLMs Workflows for Lung Pathology Extraction from Clinical Narratives [10.547193480104488]
重要なデータは物語のレポートに埋もれており、手作業による抽出が重く、エラーが発生しやすい。
肺切除後の病理組織所見から,米国病理医科大学13科の共眼領域に集結するゼロショット・エージェントワークフローを開発した。
最高のゼロショットモデル(GPT-OSS-20B)は0.893のマイクロF1を達成し、タスク固有のトレーニングなしで病理段階のような複雑な関係を正確に抽出した。
論文 参考訳(メタデータ) (2026-06-18T07:00:43Z) - TimeLAVA: Learning-Agnostic Data Valuation for Time Series [48.76711740818533]
TimeLAVAは、評価データと参照データの間の分布差を最小限に抑えるために、時間セグメントを限界貢献によって評価する学習非依存のフレームワークである。
モデルに依存しない一般化にバリュエーションをリンクする理論的保証を提供し、汚染に対する有界感度を証明する。
論文 参考訳(メタデータ) (2026-06-17T06:16:16Z) - A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis [47.027290803102666]
本研究は,1万の総合的な授業レビューから構築されたABSAの教育的評価基準について紹介する。
最強の未調整モデルであるBERTは0.2760マイクロF1に達する。
Herathらによる2,829名の学生フィードバックレビューに対する保守的な外部評価では、9アスペクト重なりのBERTでは0.4593のマイクロF1が得られる。
論文 参考訳(メタデータ) (2026-05-25T07:05:21Z) - Machine Learning-Based Pre-Test Risk Stratification for PCR-Confirmed Chlamydia Using Patient-Reported Data and Urine Biomarkers [0.0]
Chlamydia trachomatis感染のリスクが高い個体の早期同定は、資源認識スクリーニングにおける分子試験の最適利用を可能にする可能性がある。
本研究では,日常的に利用可能な非侵襲的臨床データに基づいてトレーニングされた機械学習モデルを用いて,事前検査によるリスク階層化の可能性を評価する。
論文 参考訳(メタデータ) (2026-05-09T19:21:59Z) - Joint Treatment Effect Estimation from Incomplete Healthcare Data: Temporal Causal Normalizing Flows with LLM-driven Evolutionary MNAR Imputation [0.0]
不完全長手EHRによる治療効果推定のための2段階パイプラインを提案する。
CaulFlow-Tは、長期記憶(LSTM)を符号化した患者履歴を持つ、DAGに制約された正規化フローである。
CaulFlow-Tは、正確な非可逆逆推論を行い、変分推論からの近似誤差を回避し、明示的な因果構造を通して共起を分離する。
論文 参考訳(メタデータ) (2026-05-06T16:53:08Z) - Robust Regression with Adaptive Contamination in Response: Optimal Rates and Computational Barriers [65.58071581164043]
本研究では, 共変剤を清潔にし, 応答を適応的に劣化させる汚染モデルの下で, 頑健な回帰について検討する。
本研究では,ハマー汚染下で達成可能なものよりも優れた推定率を持つ推定器を構築するために,追加情報を慎重に活用できることを示す。
情報理論の観点からは、ハマーモデルよりも改善されているにもかかわらず、この問題が強い情報計算ギャップを示すという公式な証拠を提供する。
論文 参考訳(メタデータ) (2026-04-05T19:07:24Z) - Causal Data Augmentation for Robust Fine-Tuning of Tabular Foundation Models [45.21399037022976]
CausalMixFTは、微調整の堅牢性と下流のパフォーマンスを向上させる方法である。
ターゲットデータセットに適合した構造因果モデル(Structure Causal Models, SCM)を用いて、構造的に一貫した合成サンプルを生成する。
TabArenaの33の分類データセットと2300以上の微調整実行で評価された。
論文 参考訳(メタデータ) (2026-01-07T17:16:39Z) - Scalably Enhancing the Clinical Validity of a Task Benchmark with Physician Oversight [5.202988483354374]
本研究では,複雑なタスクの監視ベンチマークを,定期的に再評価すべき 'in-progress living document'' として提案する。
我々は,先進的なエージェント検証を利用して,MedCalc-Benchを監査し,レラベル化する,系統的,内科的・内科的パイプラインを提案する。
検査の結果,抽出ミス,電卓論理ミスマッチ,臨床曖昧さなどにより,原著ラベルの顕著な部分が医学的根拠の真相から逸脱していることが判明した。
論文 参考訳(メタデータ) (2025-12-22T18:59:34Z) - Generalizable Diabetes Risk Stratification via Hybrid Machine Learning Models [0.0]
糖尿病は世界中で5億3700万人を超え、2045年までに7億8300万人に達すると予測されている。
2つのハイブリッド分類器を比較し、外部コホート上での一般化性を評価する。
論文 参考訳(メタデータ) (2025-09-24T21:18:52Z) - CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。
CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。
次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
論文 参考訳(メタデータ) (2024-11-10T02:40:06Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Breaking the Spurious Causality of Conditional Generation via Fairness
Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。
これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。
この問題を緩和するための一般的な2段階戦略を提案する。
論文 参考訳(メタデータ) (2022-12-05T08:09:33Z) - Report-Guided Automatic Lesion Annotation for Deep Learning-Based
Prostate Cancer Detection in bpMRI [0.0]
臨床報告に基づく自動アノテーションは手動ラベル付けのボトルネックを克服する可能性がある。
臨床的に有意な前立腺癌(csPCa)のアノテーションが得られた。
自動ラベル付け試験によるトレーニングセットの強化は、患者ベースの診断領域を改善した。
論文 参考訳(メタデータ) (2021-12-09T15:35:32Z) - Low-Shot Validation: Active Importance Sampling for Estimating
Classifier Performance on Rare Categories [47.050853657721596]
限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。
稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。
特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
論文 参考訳(メタデータ) (2021-09-13T06:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。