論文の概要: Evaluation and LLM-Guided Learning of ICD Coding Rationales
- arxiv url: http://arxiv.org/abs/2508.16777v1
- Date: Fri, 22 Aug 2025 20:20:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.174018
- Title: Evaluation and LLM-Guided Learning of ICD Coding Rationales
- Title(参考訳): ICD符号化規則の評価とLLM指導による学習
- Authors: Mingyang Li, Viktor Schlegel, Tingting Mu, Wuraola Oyewusi, Kai Kang, Goran Nenadic,
- Abstract要約: 自動臨床コーディングは、電子健康記録から国際疾患分類(ICD)のような標準化されたコードシステムに、構造化されていないテキストをマッピングすることを含む。
これらのモデルにおける説明責任の欠如は依然として大きな制限であり、信頼と透明性を損なう。
我々は、2つの重要なレンズを通して、ICD符号化の論理的説明可能性の包括的評価を行う: モデルの実際の推論をいかによく反映するかを評価する忠実さと、その説明が人間の専門家の判断とどのように一致しているかを測定する妥当性。
- 参考スコア(独自算出の注目度): 24.68682852985323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated clinical coding involves mapping unstructured text from Electronic Health Records (EHRs) to standardized code systems such as the International Classification of Diseases (ICD). While recent advances in deep learning have significantly improved the accuracy and efficiency of ICD coding, the lack of explainability in these models remains a major limitation, undermining trust and transparency. Current explorations about explainability largely rely on attention-based techniques and qualitative assessments by physicians, yet lack systematic evaluation using consistent criteria on high-quality rationale datasets, as well as dedicated approaches explicitly trained to generate rationales for further enhancing explanation. In this work, we conduct a comprehensive evaluation of the explainability of the rationales for ICD coding through two key lenses: faithfulness that evaluates how well explanations reflect the model's actual reasoning and plausibility that measures how consistent the explanations are with human expert judgment. To facilitate the evaluation of plausibility, we construct a new rationale-annotated dataset, offering denser annotations with diverse granularity and aligns better with current clinical practice, and conduct evaluation across three types of rationales of ICD coding. Encouraged by the promising plausibility of LLM-generated rationales for ICD coding, we further propose new rationale learning methods to improve the quality of model-generated rationales, where rationales produced by prompting LLMs with/without annotation examples are used as distant supervision signals. We empirically find that LLM-generated rationales align most closely with those of human experts. Moreover, incorporating few-shot human-annotated examples not only further improves rationale generation but also enhances rationale-learning approaches.
- Abstract(参考訳): 自動臨床コーディングには、Electronic Health Records (EHR) から国際疾患分類 (ICD) などの標準化されたコードシステムに、構造化されていないテキストをマッピングすることが含まれる。
近年のディープラーニングの進歩は、ICD符号化の精度と効率を大幅に向上させたが、これらのモデルにおける説明可能性の欠如は大きな制限であり、信頼と透明性を損なう。
説明可能性に関する現在の調査は、主に注意に基づく手法と医師による質的な評価に頼っているが、高品質な合理性データセットの一貫性のある基準を用いた体系的な評価は欠如している。
本研究は,2つの重要なレンズによるICD符号化の理論的根拠の包括的評価を行う: モデルの実際の推論をいかによく反映するかを評価する忠実さと,その説明が人間の専門家の判断とどのように一致しているかを評価する妥当性である。
妥当性の評価を容易にするために,我々は多彩な粒度のアノテーションを提供し,現在の臨床実践と整合し,ICD符号化の3種類の有理性に対して評価を行う新しい有理性アノテーションデータセットを構築した。
ICD符号化におけるLCM生成論理の有望な妥当性を考慮し、モデル生成論理の質を向上させるための新たな理性学習手法を提案する。
LLMの生成する有理性は、人間の専門家のものと最もよく一致している。
さらに、少数ショットの人間注記例を取り入れることで、合理性生成がさらに改善されるだけでなく、合理性学習アプローチも強化される。
関連論文リスト
- Improving ARDS Diagnosis Through Context-Aware Concept Bottleneck Models [2.3802351706765017]
病気を理解するための新しいリソースとして、大規模で一般公開された臨床データセットが登場した。
これらのデータセットは、もともと研究目的で収集されていないデータから派生しており、その結果、しばしば不完全であり、重要なラベルが欠落している。
多くのAIツールは、疾患分類を実行するなど、これらのデータセットを振り返ってラベル付けするために開発されている。
従来の研究は、高レベルな臨床概念にマッピングする解釈可能な概念を学ぶConcept Bottleneck Models (CBMs)を用いて、予測を説明しようと試みてきた。
我々は,急性呼吸障害症候群(ARDS)の診断を,臨床ノートからコンテキスト情報を取り入れて改善することの価値を実証するために,挑戦的なテストケースとして用いている。
論文 参考訳(メタデータ) (2025-08-13T11:19:30Z) - Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。
本稿は、この新興分野に関する最初の体系的なレビューを提供する。
本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
論文 参考訳(メタデータ) (2025-08-01T14:41:31Z) - AGIR: Assessing 3D Gait Impairment with Reasoning based on LLMs [0.0]
歩行障害は、神経変性疾患の早期診断、疾患モニタリング、治療評価において重要な役割を果たす。
近年のディープラーニングベースのアプローチは、分類精度を一貫して改善しているが、解釈可能性に欠けることが多い。
本稿では、事前訓練されたVQ-VAEモーショントークンライザと、一対のモーショントークン上で微調整されたLarge Language Model(LLM)からなる新しいパイプラインであるAGIRを紹介する。
論文 参考訳(メタデータ) (2025-03-23T17:12:16Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳(メタデータ) (2025-03-06T18:35:39Z) - Beyond Single-Value Metrics: Evaluating and Enhancing LLM Unlearning with Cognitive Diagnosis [34.62178125699054]
UNCD (UNlearning Evaluation via Cognitive Diagnosis) は、LLMアンラーニングのきめ細かい評価のための新しいフレームワークである。
われわれのベンチマークであるUNCD-Cyberは、危険な能力の除去に関する詳細な評価を提供する。
当社の専用ベンチマークであるUNCD-Cyberは、危険な能力の除去に関する詳細な評価を提供する。
論文 参考訳(メタデータ) (2025-02-19T06:56:59Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging [0.33554367023486936]
がんのステージング状態は臨床報告で確認できるが、抽出するには自然言語処理が必要である。
臨床指向の大規模言語モデルの進歩により、アルゴリズムの訓練に多大な努力を払わずに、そのような状態を抽出することが期待されている。
本研究では,モデル生成の一貫性向上を目的としたアンサンブル推論手法を提案する。
論文 参考訳(メタデータ) (2024-04-19T19:34:35Z) - CoRelation: Boosting Automatic ICD Coding Through Contextualized Code
Relation Learning [56.782963838838036]
我々は,ICDコード表現の学習を促進するために,文脈的かつ柔軟なフレームワークである新しい手法を提案する。
提案手法では,可能なすべてのコード関係をモデル化する際の臨床ノートのコンテキストを考慮した,依存型学習パラダイムを採用している。
論文 参考訳(メタデータ) (2024-02-24T03:25:28Z) - Can Current Explainability Help Provide References in Clinical Notes to
Support Humans Annotate Medical Codes? [53.45585591262433]
本稿では、注意スコアに基づくxRAC-ATTNと、モデルに依存しない知識蒸留に基づくxRAC-KDの2つのアプローチについて説明する。
我々は,xRAC-ATTNが強調した支持エビデンステキストが,xRAC-KDよりも高品質であるのに対して,xRAC-KDは本番環境において潜在的に有利であることを示した。
論文 参考訳(メタデータ) (2022-10-28T04:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。