論文の概要: Can human clinical rationales improve the performance and explainability of clinical text classification models?
- arxiv url: http://arxiv.org/abs/2507.21302v1
- Date: Mon, 28 Jul 2025 19:44:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:55.261967
- Title: Can human clinical rationales improve the performance and explainability of clinical text classification models?
- Title(参考訳): 臨床テキスト分類モデルの性能と説明性はヒトの臨床的根拠によって改善できるか?
- Authors: Christoph Metzner, Shang Gao, Drahomira Herrmannova, Heidi A. Hanson,
- Abstract要約: 原発性癌部位の診断に有効な説明法として, 99,125人の人為的臨床的根拠について検討した。
予備選択した有理数に対する有理数品質を測定する手段として, 十分性を検討した。
正当性を自動計量として有理数の選択に用いることも矛盾する結果をもたらす。
- 参考スコア(独自算出の注目度): 2.1054100632561377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-driven clinical text classification is vital for explainable automated retrieval of population-level health information. This work investigates whether human-based clinical rationales can serve as additional supervision to improve both performance and explainability of transformer-based models that automatically encode clinical documents. We analyzed 99,125 human-based clinical rationales that provide plausible explanations for primary cancer site diagnoses, using them as additional training samples alongside 128,649 electronic pathology reports to evaluate transformer-based models for extracting primary cancer sites. We also investigated sufficiency as a way to measure rationale quality for pre-selecting rationales. Our results showed that clinical rationales as additional training data can improve model performance in high-resource scenarios but produce inconsistent behavior when resources are limited. Using sufficiency as an automatic metric to preselect rationales also leads to inconsistent results. Importantly, models trained on rationales were consistently outperformed by models trained on additional reports instead. This suggests that clinical rationales don't consistently improve model performance and are outperformed by simply using more reports. Therefore, if the goal is optimizing accuracy, annotation efforts should focus on labeling more reports rather than creating rationales. However, if explainability is the priority, training models on rationale-supplemented data may help them better identify rationale-like features. We conclude that using clinical rationales as additional training data results in smaller performance improvements and only slightly better explainability (measured as average token-level rationale coverage) compared to training on additional reports.
- Abstract(参考訳): AIによる臨床テキスト分類は、人口レベルの健康情報の自動検索に不可欠である。
本研究は,臨床文書を自動エンコードするトランスフォーマーモデルの性能と説明可能性を改善するために,人為的臨床理性理論が追加の監督に役立てられるかどうかを考察する。
原発性癌部位の診断に有効な説明を提供する,99,125人の臨床的根拠を解析し,128,649人の電子病理報告とともに追加のトレーニングサンプルとして使用し,原発性癌部位の抽出のためのトランスフォーマーモデルの評価を行った。
また,予備選択有理数に対する有理数品質の測定方法として,十分性を検討した。
以上の結果から,高リソースシナリオのモデル性能は向上するが,リソースが制限された場合には不整合な動作が生じる可能性が示唆された。
正当性を自動計量として有理数の選択に用いることも矛盾する結果をもたらす。
重要なことに、合理性で訓練されたモデルは、代わりに追加のレポートで訓練されたモデルによって一貫して性能が向上した。
これは、臨床の合理性はモデルの性能を一貫して改善せず、単により多くのレポートを使用することで性能が向上していることを示唆している。
したがって、目標が精度を最適化するならば、アノテーションの取り組みは合理性を作るのではなく、より多くのレポートのラベル付けに集中すべきである。
しかし、説明可能性が優先される場合、有理補足データのトレーニングモデルは、有理補足的な特徴をよりよく識別するのに役立ちます。
追加のトレーニングデータとして臨床的合理性を用いることで、パフォーマンスが向上し、追加のレポートのトレーニングと比較して、説明可能性(平均トークンレベルの合理性カバレッジとして測定される)がわずかに向上したと結論付けている。
関連論文リスト
- AUTOCT: Automating Interpretable Clinical Trial Prediction with LLM Agents [47.640779069547534]
AutoCTは、大規模言語モデルの推論能力と古典的な機械学習の説明可能性を組み合わせた、新しいフレームワークである。
臨床治験予測タスクにおいて, AutoCT は SOTA 法と同等以上の性能を示した。
論文 参考訳(メタデータ) (2025-06-04T11:50:55Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳(メタデータ) (2024-11-12T09:52:40Z) - Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。
我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
論文 参考訳(メタデータ) (2024-04-10T14:05:44Z) - A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data
for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。
そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。
また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文 参考訳(メタデータ) (2022-08-09T03:49:52Z) - TrialGraph: Machine Intelligence Enabled Insight from Graph Modelling of
Clinical Trials [0.0]
我々はCT.gov, AACT, TrialTroveデータベースから収集した治験データセット(n=1191臨床試験、100万人の患者を代表する)を紹介する。
次に,グラフ機械学習アルゴリズムの数学的基礎と実装について詳述する。
我々はこれらのモデルを用いて、疾患、既往の医療状況、治療に関する情報を与えられた臨床試験の副作用情報を予測する訓練を行った。
論文 参考訳(メタデータ) (2021-12-15T15:36:57Z) - Rationale production to support clinical decision-making [31.66739991129112]
本稿では,病院の退院予測にInfoCalを適用した。
選択された解釈可能性を持つ各提示モデルや特徴重要度法は,それぞれ異なる結果をもたらす。
論文 参考訳(メタデータ) (2021-11-15T09:02:10Z) - Improvement of a Prediction Model for Heart Failure Survival through
Explainable Artificial Intelligence [0.0]
本研究は、心不全生存予測モデルの説明可能性分析と評価について述べる。
このモデルでは、最高のアンサンブルツリーアルゴリズムを選択できるデータワークフローパイプラインと、最高の機能選択テクニックが採用されている。
本論文の主な貢献は、精度-説明可能性バランスに基づいて、HF生存率の最良の予測モデルを選択するための説明可能性駆動型アプローチである。
論文 参考訳(メタデータ) (2021-08-20T09:03:26Z) - Hemogram Data as a Tool for Decision-making in COVID-19 Management:
Applications to Resource Scarcity Scenarios [62.997667081978825]
新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。
本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。
提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
論文 参考訳(メタデータ) (2020-05-10T01:45:03Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳(メタデータ) (2020-05-03T02:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。